谷歌:URL 参数工具不能替代Robots.txt

谷歌的John Mueller 在Twitter 上表示,使用URL 参数工具不能替代使用robots.txt 文件来阻止内容。在设置某种类型的URL 模式的“不抓取URL”时,John 被问到“它的可靠性如何”。 John 说:“它不是robots.txt 的替代品——如果你需要确保某些东西没有被抓取,那么就适当地阻止它。”

以下是这些推文集:

我应该注意到,去年John 说不要使用robots.txt 来阻止带参数的URL 索引。因此,请记住这一点。

论坛讨论于 推特.

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
搜索