谷歌的约翰穆勒说，对于网站的最佳抓取预算没有基准。
这是对 Reddit 帖子的回应，其中 SEO 询问是否存在 Googlebot 每天应该抓取的理想页面百分比。 这个问题背后的想法是，如果 Googlebot 更经常地抓取内容，内容可能会保持新鲜。
这是完整的问题：
“虽然每个人都在谈论爬行预算，但我还没有找到具体的截止点或范围。 例如，GoogleBot 每天应该抓取多少页面（或每天所做的总更改）以保持内容的新鲜度应该是多少？
我知道这可能会有很大差异，因为很大程度上取决于网站上的静态/可变内容。 我只是想了解如何对抓取预算进行基准测试。”
作为回应，穆勒简单地说： “没有号码。”
因此，如果您希望增加抓取预算，那么确实没有理想的目标数字。 但是，这并不是说优化网站的抓取预算没有任何好处。
什么是抓取预算？
简单地说，抓取预算是 Googlebot 能够抓取（基于站点速度）和想要抓取（基于用户需求）的 URL 数量。
较高的抓取预算有助于保持热门内容的新鲜度，并有助于防止较旧的内容过时。
请参阅：Google 的 Gary Illyes 解释的 Googlebot 抓取预算
影响抓取预算的因素
提高抓取预算的最佳方法之一是限制网站上低附加值 URL 的数量，例如：
- 分面导航和会话标识符
- 现场重复内容
- 软错误页面
- 被黑页面
- 无限空间和代理
- 低质量和垃圾内容
这些类型的页面可以从站点的更重要页面中窃取爬网活动。
还建议网站所有者监控 Search Console 中的抓取错误报告，并将服务器错误降至最低。
另请参阅：优化 SEO 抓取预算的 7 个技巧
资源： 红迪网
