Search Advocate Daniel Waisberg 在新的培训视频中详细解释了 Google Search Console 的新抓取统计报告。
几个月前，Search Console 中的抓取统计报告收到了重大更新。 如果您还没有机会查看新报告，那么现在是熟悉所有已添加的见解的好时机。
Google 的新视频分解了抓取统计报告的每个部分，并解释了这些数据可用于确定 Googlebot 抓取特定网站的能力。
当 Googlebot 能够有效地抓取网站时，它有助于在搜索结果中快速将新内容编入索引，并帮助 Google 发现对现有内容所做的更改。
这是从绝对基础开始的视频回顾：什么是爬行？
什么是网络爬虫？
抓取过程从网站所有者提供的先前抓取的 URL 列表和站点地图开始。
Google 使用网络爬虫来访问 URL、读取其中的信息并跟踪这些页面上的链接。
爬虫将重新访问列表中已经存在的页面以检查它们是否已更改，并且还会爬取它发现的新页面。
在这个过程中，爬虫必须做出重要的决定，例如优先考虑何时和什么内容，同时确保网站可以处理谷歌的服务器请求。
成功抓取的页面将被处理并传递给 Google 索引，以准备在 Google 搜索结果中提供的内容。
Google 希望确保它不会使您的服务器超载，因此抓取频率取决于三件事：
- 爬取率： 爬虫可用于爬取站点的最大并发连接数
- 爬取需求： Google 需要多少内容。
- 抓取预算： Google 可以并希望抓取的网址数量。
什么是 Search Console 抓取统计报告？
Search Console 中的抓取统计报告用于帮助理解和优化 Googlebot 抓取。 它提供有关 Google 抓取行为的统计信息，例如它抓取网站的频率以及响应内容。
Wasiberg 说，如果与大型网站合作，该报告是相关的，但如果您的网站少于 1,000 页，则不必担心。
以下是您可以使用抓取统计报告中提供的数据回答的一些问题：
- 您网站的一般可用性是什么？
- 抓取请求的平均页面响应是多少？
- 在过去 90 天内，Google 向您的网站发出了多少请求？
如何访问抓取统计报告
网站所有者可以通过登录 Search Console 并转到“设置”页面来找到抓取统计报告。 在那里，您将看到抓取统计报告。
打开报告后，您将看到一个摘要页面，其中包括一个爬取趋势图表、主机状态详细信息和一个爬取请求细分。
爬行趋势图
爬行趋势图报告了这三个指标：
- 对您网站上的 URL 的总抓取请求（无论成功与否）。
- 抓取期间从您的网站下载的总大小。
- 检索页面内容的爬网请求的平均页面响应时间。
在分析这些数据时，寻找随时间变化的主要峰值、下降和趋势。
例如，如果您发现抓取请求总数显着下降，Google 建议确保没有人向您的网站添加新的 robots.txt。
或者您可能会发现您的网站对 Googlebot 的响应速度很慢。 这可能表明您的服务器无法处理所有请求。
注意平均响应时间的持续增加。 谷歌表示它可能不会立即影响抓取速度，但这是一个很好的指标，表明您的服务器可能无法处理所有负载。
主机状态详细信息
主机状态数据可让您检查站点在过去 90 天内的一般可用性。 此部分中的错误意味着 Google 因技术原因无法抓取您的网站。
当您单击获取主机状态详细信息时，您会发现三个类别：
- Robots.txt 获取: 抓取 robots.txt 文件时的失败率。
- DNS解析：显示 DNS 服务器何时无法识别您的主机名或在抓取期间没有响应。
- 服务器连接：显示您的服务器在抓取过程中何时无响应或未对您的 URL 提供完整响应。
抓取请求卡
抓取请求卡片会显示几个细分，以帮助您了解 Google 抓取工具在您的网站中找到的内容。
有四种可用的细分：
- 抓取响应：Google 在抓取您的网站时收到的回复。
- 爬取文件类型：显示请求返回的文件类型。
- 爬取目的：显示抓取您的网站的原因。
- 谷歌机器人类型：显示 Google 用于发出抓取请求的用户代理。
总之
这些是使用 Search Console 的抓取统计报告以确保 Googlebot 可以有效地抓取您的网站进行搜索的基础知识。
外卖：
- 使用摘要页图分析爬取量和趋势。
- 使用主机状态详细信息检查您的站点的一般可用性。
- 使用抓取请求细分来了解 Googlebot 在抓取您的网站时发现了什么。
请参阅下面的完整视频：
