前几天，谷歌的Gary Illyes 在Twitter 上发布了一个SEO 小测验。民意调查的回应显示，SEO 在Google 将如何处理自相矛盾的robots.txt 文件指令的答案上存在分歧。
加里问“这将如何影响爬行：”
用户代理： *
不允许： /
允许： /
他说回答时尽量不要使用工具。
在对民意调查进行了近2,500 次回复后的结果是，52% 的人表示这将导致一切都被禁止，而48% 的人表示这将导致一切都被允许。
以下是结果：
尝试在没有工具帮助的情况下回答。这将如何影响抓取：
用户代理： *
不允许： /
允许： /— Gary Kujiri/경리Illyes (@methode) 2020 年7 月2 日
前Google 员工佩德罗·迪亚斯(Pedro Dias) 表示订单很重要，但现任Google 员工展示了一些可能另有说法的注释：
你确定吗？ https://t.co/7Me8PBbg47
— 埃杜·佩雷达(@epere4) 2020 年7 月2 日
然后佩德罗展示了这个工具：
是的：） pic.twitter.com/wG9KsXICq2
——佩德罗·迪亚斯(@pedrodias) 2020 年7 月2 日
答案应该一目了然吧？
老实说，如果任何SEO 会在robots.txt 中看到这个- 他们只会确保清理它并确保指令清晰。但这是一个有趣的民意调查。
论坛讨论于 推特.
