谷歌的约翰·穆勒(John Mueller) 回应了关于谷歌关于“使用网络服务器上的robots.txt 文件通过防止对搜索结果页面等无限空间进行抓取来管理抓取预算”的指导方针的评论。他说这与垃圾邮件无关，更多的是“用相互竞争的无用页面淡化索引内容”。
他把这个贴在 推特:
这通常不是垃圾邮件/非垃圾邮件的情况，而是更多关于用相互竞争的无用页面淡化索引内容。更多的是策略问题而不是垃圾邮件。
— 🍌 约翰🍌 (@JohnMu) 2020 年3 月9 日
这是Lily Ray 来自这次对话的原始推文：
Google：防止抓取您的内部搜索结果页面！
还有谷歌：*始终将内部搜索结果页面排在第1 页* pic.twitter.com/IWNtl0KFTc
— 莉莉·雷(@lilyraynyc) 2020 年3 月9 日
2007 年，谷歌要求网站管理员阻止内部搜索结果被编入索引。最初的指南是“使用robots.txt 来防止抓取搜索结果页面或其他自动生成的页面，这些页面不会为来自搜索引擎的用户增加太多价值。” 现在它显示为“使用您的网络服务器上的robots.txt 文件通过防止对搜索结果页面等无限空间的抓取来管理您的抓取预算。”
十年后，Google 的John Mueller 解释了为什么Google 不希望您的搜索结果页面出现在其索引中。他说，“它们创造了无限的空间（爬行），它们通常是低质量的页面，通常会导致空的搜索结果/软404。”
所以它真的并不总是关于垃圾邮件，而是阻止可能与谷歌不相关的页面。
论坛讨论于 推特.
