谷歌深入了解抓取预算，在最新一期的 SEO Mythbusting 中回答了一些最常见的与 SEO 相关的问题。
与 Merkle 的 Alexis Sanders 一起，Google 的 Martin Splitt 回答了十几个 SEO 经常询问的关于抓取预算的问题。
以下是每个问题和答案的快速回顾，以及视频中相应的时间戳。
什么是抓取预算？ (1:15)
抓取预算是在不使服务器不堪重负的情况下尽快抓取网站上尽可能多的内容之间的平衡。
预算是 Googlebot 可以同时发出的请求数，而不会使服务器不堪重负。
有关的： 搜索引擎如何抓取和索引：您需要知道的一切
什么是抓取需求？ (1:47)
这是指谷歌的频率 想要 爬取基于其主题的网站。
例如，与食谱网站相比，突发新闻网站的抓取需求可能更高。
Googlebot 如何做出抓取速度和抓取需求决策？ (2:44)
Google 根据内容更改的频率确定抓取页面的频率。 如果更改频率较低，则该网站不会像其他网站那样经常被抓取。
ETag、HTTP 标头、上次修改日期和类似的 (3:43)
Google 使用 ETag、HTTP 标头和上次修改日期等信息来确定应多久抓取一次内容。
ETag 是一个缓存标头，其中包含用于检测随时间变化的内容指纹。
什么规模的网站应该担心抓取预算？ (4:35)
这主要是对拥有数百万页面的大型网站的关注。 如果您的网站有一百万页以下，那么您不必担心抓取预算。
服务器设置与抓取预算 (5:00)
当潜在问题通常是服务器设置或内容质量时，抓取预算经常被认为是网站所有者的问题。
抓取频率与内容质量 (6:18)
当内容被更频繁地抓取时，这并不表示内容是高质量的。 这也不表示内容在不经常被抓取时质量低下。
有关的： 优化 SEO 抓取预算的 7 个技巧
如果 Google 正在测试自己的服务器，期望在自己的日志文件中看到什么？ (7:45)
他们可能会看到爬行活动增加，然后减少，然后又增加。 换句话说，就是一种波浪模式。
有关如何在网站迁移期间准确抓取您的网站的提示 (8:18)
Martin Splitt 建议逐步更新您的站点地图，注意更改的内容和时间。 除此之外，尽量确保两台服务器都尽可能平稳地运行。
抓取预算和网站基础设施的不同级别 (9:40)
爬网预算影响不同级别站点基础架构的方式取决于站点本身。
斯普利特说，这通常不是网站所有者应该担心的事情。
抓取预算是否也会影响渲染？ (10:37)
是的，抓取预算确实会影响渲染。 当 Googlebot 呈现内容时，它会从网站的抓取预算中获取额外的资源。
缓存资源和抓取预算 (11:46)
Google 尽可能积极地缓存资源，以避免每次都重新抓取它们。
抓取预算和出版等特定行业 (13:34)
电子商务网站和大型发布商应该最关心抓取预算。
一般而言，在抓取网站时可以推荐什么来帮助 Googlebot 解决问题？ (15:03)
Splitt 建议阻止抓取并非绝对需要抓取的资源。 这将有助于 Googlebot 更有效地抓取。
人们在抓取预算时通常会陷入哪些陷阱？ (16:52)
网站所有者经常遇到的一个问题是在 robots.txt 中阻止 Googlebot 真正需要的资源。
例如，某些网站会阻止其 CSS 文件被抓取，而 Googlebot 需要这些文件才能在访问者在网络浏览器中看到内容时呈现内容。
可以告诉 Googlebot 更多地抓取自己的网站吗？ (17:40)
不，这是做不到的。 网站所有者可以 限制 Googlebot 抓取的频率，但无法触发 Googlebot 更频繁地抓取。
请参阅下面的完整视频：
