谷歌宣布将发出通知,让发布商知道谷歌已经开始使用先进的 HTTP/2 协议抓取他们的网站。 该通知仅发送给站点已升级的用户。
为什么选择 HTTP/2
HTTP/2(也称为 h2)是一种网络协议,服务器、浏览器和机器人可以使用它来从服务器传输数据。
HTTP/2 比旧的 HTTP/1.1 协议更有效,并且能够以更快的速率传输数据。
对发布商而言,这样做的好处是可以减少服务器负载,这意味着当 Google 在服务器负载过重的同时抓取网站时,出错(如超时错误)的可能性会降低。
另一个好处是,网站的压力较小,对于访问该网站的用户来说,该网站将能够保持活力。
Google 的 Gary Illyes 在 Twitter 上发布了 Google 发出通知的公告。
“只需按下按钮,即可向已选择 HTTP/2 抓取的网站发送大量消息。 如果有不清楚的地方,请点击消息中的链接”
它附有通知示例的屏幕截图,显示了它的外观。
另一条推文表明,Googlebot 的 HTTP/2 抓取正在慢慢上线,而不是一下子上线。
根据加里:
“h2爬虫的流量在逐渐增加,并不是你收到消息突然所有爬取都是h2。 可能需要几天时间”
Googlebot 会抓取所有符合条件的网站吗?
Google 将确定网站是否受益于新的 HTTP/2 抓取。 如果它认为没有任何好处,那么 Google 可能会决定不使用新的 HTTP/2 协议。
根据谷歌:
“在我们的评估中,我们发现某些网站(例如,qps 非常低的网站)在通过 h2 爬行时几乎没有任何好处。 因此,我们决定仅在对网站有明显好处时才将抓取切换到 h2。 我们将继续评估性能提升,并可能在未来改变我们切换的标准。”
使用 HTTP/2 进行爬网还取决于您的服务器是否设置为处理它。 如果您不知道您的网站是否可以处理 HTTP/2 抓取 在 KeyCDN 上检查一下.