Google:不要阻止GoogleBot 抓取404

Google 的John Mueller 表示,如果您阻止Google 或其他搜索引擎抓取返回404 服务器状态代码的页面,那将是“一个非常糟糕的主意,会导致各种问题”。他说谷歌“每天抓取数十亿个404 页面”,这很正常。

一位网站管理员写道,他的“网站会自动阻止出现超过10 404 错误的用户代理,包括Googlebot,所以这是一个问题。” 约翰回应说这是一个非常糟糕的主意,他说“这听起来像是一个非常糟糕的主意,它会导致各种问题……你无法避免Googlebot 和所有其他搜索引擎都会遇到404s。总是爬行包括以前被视为404 的URL。”

同一天,他在另一条推文中说,“每天有数十亿个404 页面被抓取——这是网络的正常部分,这是表明URL 不存在的正确方式。这不是你需要做的事情,或者可以,压制。”

因此,虽然您可以通过其他方式修复404 页面,但在不知道Google 如何访问这些页面的情况下自动阻止Google 访问404 页面可能是一个非常糟糕的主意。

论坛讨论于 推特.

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
搜索