Google 的John Mueller 表示，如果您阻止Google 或其他搜索引擎抓取返回404 服务器状态代码的页面，那将是“一个非常糟糕的主意，会导致各种问题”。他说谷歌“每天抓取数十亿个404 页面”，这很正常。
一位网站管理员写道，他的“网站会自动阻止出现超过10 404 错误的用户代理，包括Googlebot，所以这是一个问题。” 约翰回应说这是一个非常糟糕的主意，他说“这听起来像是一个非常糟糕的主意，它会导致各种问题……你无法避免Googlebot 和所有其他搜索引擎都会遇到404s。总是爬行包括以前被视为404 的URL。”
这听起来像是一个非常糟糕的主意，它会导致各种问题。您无法避免Googlebot 和所有其他搜索引擎都会遇到404。抓取总是包含以前被视为404 的URL。
— 🍌 约翰🍌 (@JohnMu) 2020 年7 月15 日
同一天，他在另一条推文中说，“每天有数十亿个404 页面被抓取——这是网络的正常部分，这是表明URL 不存在的正确方式。这不是你需要做的事情，或者可以，压制。”
每天有数十亿个404 页面被抓取- 这是网络的正常部分，是表示URL 不存在的正确方式。这不是你需要或不能压制的东西。
— 🍌 约翰🍌 (@JohnMu) 2020 年7 月15 日
因此，虽然您可以通过其他方式修复404 页面，但在不知道Google 如何访问这些页面的情况下自动阻止Google 访问404 页面可能是一个非常糟糕的主意。
论坛讨论于 推特.
