
前几天,谷歌的Gary Illyes 在Twitter 上发布了一个SEO 小测验。民意调查的回应显示,SEO 在Google 将如何处理自相矛盾的robots.txt 文件指令的答案上存在分歧。
加里问“这将如何影响爬行:”
用户代理: *
不允许: /
允许: /
他说回答时尽量不要使用工具。
在对民意调查进行了近2,500 次回复后的结果是,52% 的人表示这将导致一切都被禁止,而48% 的人表示这将导致一切都被允许。
以下是结果:
尝试在没有工具帮助的情况下回答。这将如何影响抓取:
用户代理: *
不允许: /
允许: /— Gary Kujiri/경리Illyes (@methode) 2020 年7 月2 日
前Google 员工佩德罗·迪亚斯(Pedro Dias) 表示订单很重要,但现任Google 员工展示了一些可能另有说法的注释:
你确定吗? https://t.co/7Me8PBbg47
— 埃杜·佩雷达(@epere4) 2020 年7 月2 日
然后佩德罗展示了这个工具:
是的:) pic.twitter.com/wG9KsXICq2
——佩德罗·迪亚斯(@pedrodias) 2020 年7 月2 日
答案应该一目了然吧?
老实说,如果任何SEO 会在robots.txt 中看到这个- 他们只会确保清理它并确保指令清晰。但这是一个有趣的民意调查。
论坛讨论于 推特.