Google 的 John Mueller 在 Search Console 更新的 Crawl Stats 报告中提供了有关新数据的更多详细信息——“发现”和“刷新指标”。
Google Search Console 中的 Crawl Stats 报告已在几周前更新,并提供了以前未报告过的数据。
11 月 27 日的 Google Search Central 直播中出现了一个特定的数据部分,即抓取目的。
Mueller 被要求提供有关抓取目的中包含的两个指标的更多背景信息——“发现”URL 的百分比和“刷新”URL 的百分比。
具体来说,提交了以下问题:
“发现和刷新有什么区别? 在我们的例子中,它显示了 84% 的刷新率。
这是否意味着 Google 有 84% 的时间从他们的数据库中抓取已知 URL,而只有 16% 的时间他们从已知 URL 数据库中抓取我们的网站、站点地图和来自其他 URL 的链接?”
Google 的官方 Search Console 帮助文档提供了关于发现和刷新的简要说明:
- 发现:所请求的网址以前从未被 Google 抓取过。
- 刷新:对已知页面的重新抓取。
穆勒在回答上述问题时扩展了该信息。
穆勒谈“抓取目的”数据
穆勒在回答前透露,他不能 100% 确定哪些 URL 将被分组到发现和刷新中,但他提供了自己的理解。
刷新的 URL 是指以前抓取的页面,为了更新 Google 搜索索引中的信息而再次抓取。
发现的 URL 是指网站上第一次被抓取但从未被 Google 看到过的页面。
穆勒是这样说的:
“我不能 100% 确定我们究竟会在每个存储桶中放入什么,但通常我们会将内容分为尝试更新网站上的信息的刷新爬取和尝试更新的发现爬取。查找我们从网站上听说过的新 URL。 这可能来自新的内部链接或指向您网站的外链。”
Mueller 补充说,刷新爬网涉及更新内容,同时积极寻找新放置的链接。
“刷新抓取并不意味着我们只是在更新页面的内容,我们也在寻找新的链接,然后我们可以使用这些链接来发现新的内容。”
阅读爬网统计报告时,网站所有者应该会看到与发现的 URL 相比,刷新 URL 的百分比更高。
想到的例外情况是启动新站点、将一个站点与另一个站点迁移、上传新站点地图以及其他此类操作。
如果报告显示快速变化的页面没有被足够频繁地抓取,请确保将它们包含在站点地图中。
尽管网站所有者可以通过手动 ping Google 来强制重新抓取,但更新频率较低的页面将被较少地抓取。
有关 Search Central 流的完整问题和答案,请参阅下面的视频。 可以在此处找到有关 Google 更新的 Crawl Stats 报告的完整详细信息:Google Updates Search Console Crawl Stats Report。