
Google 的John Mueller 表示,如果您阻止Google 或其他搜索引擎抓取返回404 服务器状态代码的页面,那将是“一个非常糟糕的主意,会导致各种问题”。他说谷歌“每天抓取数十亿个404 页面”,这很正常。
一位网站管理员写道,他的“网站会自动阻止出现超过10 404 错误的用户代理,包括Googlebot,所以这是一个问题。” 约翰回应说这是一个非常糟糕的主意,他说“这听起来像是一个非常糟糕的主意,它会导致各种问题……你无法避免Googlebot 和所有其他搜索引擎都会遇到404s。总是爬行包括以前被视为404 的URL。”
这听起来像是一个非常糟糕的主意,它会导致各种问题。您无法避免Googlebot 和所有其他搜索引擎都会遇到404。抓取总是包含以前被视为404 的URL。
— 🍌 约翰🍌 (@JohnMu) 2020 年7 月15 日
同一天,他在另一条推文中说,“每天有数十亿个404 页面被抓取——这是网络的正常部分,这是表明URL 不存在的正确方式。这不是你需要做的事情,或者可以,压制。”
每天有数十亿个404 页面被抓取- 这是网络的正常部分,是表示URL 不存在的正确方式。这不是你需要或不能压制的东西。
— 🍌 约翰🍌 (@JohnMu) 2020 年7 月15 日
因此,虽然您可以通过其他方式修复404 页面,但在不知道Google 如何访问这些页面的情况下自动阻止Google 访问404 页面可能是一个非常糟糕的主意。
论坛讨论于 推特.