我们收到了由Google 的Gary Illyes 触发的大量推文，然后由Google 的John Mueller 跟进，围绕robots.txt 和XML 站点地图文件在Google 中的排名。简而言之，如果他们对正常查询进行排名，约翰·穆勒表示“这通常表明您的网站确实很糟糕，应该进行改进。”
让我们从Gary 的推文开始：
由一个内部问题触发：从索引的角度来看，robots.txt只是一个内容可以被索引的url。它可以成为规范，也可以进行重复数据删除，就像任何其他URL 一样。
它只对爬行有特殊意义，但它的索引状态根本不重要。 pic.twitter.com/bBMXy1XcRF— Gary“경리”Illyes (@methode) 2019 年11 月6 日
他说的是，robots.txt 文件可以在Google 中建立索引和排名。
John 然后补充说，您可以使用x-robots-tag HTTP 标头阻止这些内容被索引。
使用x-robots-tag HTTP 标头阻止robots.txt 或站点地图文件的索引。另外，如果您的robots.txt 或站点地图文件针对正常查询（而不是站点：）进行排名，这通常表明您的站点确实很糟糕，应该进行改进。 https://t.co/DpWz6sYanN
— 🍌 约翰🍌 (@JohnMu) 2019 年11 月7 日
但是，如果您确实看到robots.txt 文件排名或站点地图文件排名，他说“如果您的robots.txt 或站点地图文件针对正常查询（而不是站点：）进行排名，这通常表明您的网站确实很糟糕而应该加以改进。”
您还可以使用禁止约翰添加：
提示：“disallow: /”还包括/robots.txt。
— 🍌 约翰🍌 (@JohnMu) 2019 年11 月7 日
也许我误会了，但约翰说disallow 在2018 年在这里不起作用？这是他当时的推文？
它不会影响我们处理robots.txt的方式，我们仍然会正常处理它。但是，如果有人链接到您的robots.txt 文件，并且该文件会被索引，我们将无法索引其内容并在搜索中显示它（对于大多数网站来说，这无论如何都没什么意思）
— 🍌 约翰🍌 (@JohnMu) 2018 年6 月29 日
我想当你在robots.txt 中禁止时，无论如何都太晚了。
约翰说，确实没有理由让谷歌索引你的站点地图文件，谷歌的处理方式有所不同：
不会。站点地图文件通常仅供程序直接使用，不需要建立索引。
— 🍌 约翰🍌 (@JohnMu) 2019 年11 月7 日
不管怎样，我想你会发现这些在一篇文章中编译的推文很有用。
论坛讨论于 推特。
