谷歌的约翰穆勒说,对于网站的最佳抓取预算没有基准。
这是对 Reddit 帖子的回应,其中 SEO 询问是否存在 Googlebot 每天应该抓取的理想页面百分比。 这个问题背后的想法是,如果 Googlebot 更经常地抓取内容,内容可能会保持新鲜。
这是完整的问题:
“虽然每个人都在谈论爬行预算,但我还没有找到具体的截止点或范围。 例如,GoogleBot 每天应该抓取多少页面(或每天所做的总更改)以保持内容的新鲜度应该是多少?
我知道这可能会有很大差异,因为很大程度上取决于网站上的静态/可变内容。 我只是想了解如何对抓取预算进行基准测试。”
作为回应,穆勒简单地说: “没有号码。”
因此,如果您希望增加抓取预算,那么确实没有理想的目标数字。 但是,这并不是说优化网站的抓取预算没有任何好处。
什么是抓取预算?
简单地说,抓取预算是 Googlebot 能够抓取(基于站点速度)和想要抓取(基于用户需求)的 URL 数量。
较高的抓取预算有助于保持热门内容的新鲜度,并有助于防止较旧的内容过时。
请参阅:Google 的 Gary Illyes 解释的 Googlebot 抓取预算
影响抓取预算的因素
提高抓取预算的最佳方法之一是限制网站上低附加值 URL 的数量,例如:
- 分面导航和会话标识符
- 现场重复内容
- 软错误页面
- 被黑页面
- 无限空间和代理
- 低质量和垃圾内容
这些类型的页面可以从站点的更重要页面中窃取爬网活动。
还建议网站所有者监控 Search Console 中的抓取错误报告,并将服务器错误降至最低。
另请参阅:优化 SEO 抓取预算的 7 个技巧
资源: 红迪网