Google 网站站长会议的要点之一是，如果Google 尝试访问您的robots.txt 文件无法访问但该文件确实存在，那么Google 将不会抓取您的网站。谷歌表示，大约26% 的时间GoogleBot 无法访问robots.txt 文件。 WordPress 可能会进行更改以降低此错误率。
以下是有关此问题的众多推文之一：
严重地？四分之一的时间googlebot 无法访问网站的robots.txt？ 🤯 那么他们就不会抓取整个网站！ ！ #gwcps pic.twitter.com/wC49yC40zI
— 拉斐尔·阿斯克尔(@raffasquer) 2019 年11 月4 日
现在，对于WordPress，来自Yoast 的Joost de Valk 说道：“对于您无法访问robots.txt 的网站，是这些WordPress 网站的子集吗？可能比您通常预期的子集更大？” 他补充说，他“正在尝试弄清楚我们是否应该更安全地使用WordPress 生成robots.txt 文件。”
来自Google 的Gary Illyes 表示，他相信WordPress 总体上可以解决这个问题，但他会进一步研究，看看WordPress 是否可以在这里做一些小的改变。
我认为WP 通常很好，因为它不能控制网络，而且如果robotstxt 返回5xx，那么肯定有人错误配置了一些非常糟糕的东西。也就是说，我会进行分析，然后我可以肯定地说
— Gary“경리”Illyes (@methode) 2019 年11 月6 日
知道了。我会看看
— Gary“경리”Illyes (@methode) 2019 年11 月6 日
我喜欢Google 和Yoast 之间的对话（它与WordPress 密切相关）。
论坛讨论于 推特。
更新：我再次让加里感到不安，根据记录，最新的情报是Google 无法到达的robots.txt 的百分比。
是的，我已经知道很长时间了。不过，统计数据很有趣，从来没有听说过这个数字这么高。
— Joost de Valk (@jdevalk) 2019 年11 月6 日
