谷歌的John Mueller 在Twitter 上表示，使用URL 参数工具不能替代使用robots.txt 文件来阻止内容。在设置某种类型的URL 模式的“不抓取URL”时，John 被问到“它的可靠性如何”。 John 说：“它不是robots.txt 的替代品——如果你需要确保某些东西没有被抓取，那么就适当地阻止它。”
以下是这些推文集：
是的
— 🍌 约翰🍌 (@JohnMu) 2020 年5 月29 日
它不是robots.txt 的替代品——如果您需要确保没有抓取某些内容，请正确阻止它。
— 🍌 约翰🍌 (@JohnMu) 2020 年5 月29 日
我应该注意到，去年John 说不要使用robots.txt 来阻止带参数的URL 索引。因此，请记住这一点。
论坛讨论于 推特.
