从 11 月开始,Googlebot 将支持通过 HTTP/2 对某些网站进行抓取。 HTTP/2 是 HTTP 的下一个主要版本。
谷歌今天在公司博客上发布的公告中证实了这一即将到来的更新。
🤓 Googlebot 正在学习一种新的 HTTP 方言! 🤓
从 11 月中旬开始,您可能会看到一些通过 HTTP2 进行的 Googlebot 抓取 🙌— 谷歌网站管理员 (@googlewmc) 2020 年 9 月 17 日
由于改进了架构,HTTP/2 是对 HTTP 的升级。 它所构建的架构允许它为客户端和服务器提供更多功能。
关于 HTTP/2,大多数人需要了解的是:它比 HTTP 更健壮、更高效、更快。
谷歌表示,这一改变是为了让抓取在服务器和资源使用方面更有效率。
“借助 h2,Googlebot 能够打开到服务器的单个 TCP 连接,并通过它有效地并行传输多个文件,而不需要多个连接。
打开的连接越少,服务器和 Googlebot 用于抓取的资源就越少。”
以下是 HTTP/2 抓取的实现方式。
Googlebot 通过 HTTP/2 爬行
通过 HTTP/2 抓取某些网站的切换将分阶段进行。
第一阶段,Googlebot 将通过 HTTP/2 抓取少量网站,并逐渐扩展到更多受益于所支持功能的网站。
Googlebot 决定通过 HTTP/2 抓取哪些网站,询问该网站是否支持它以及 Googlebot 是否会从通过 HTTP/2 的抓取中受益。
在以下情况下,站点可能有资格进行连接升级:
- 该站点的服务器支持 HTTP/2
- Googlebot 已经多次抓取该网站
网站所有者无需为更改做任何准备。
Google 指出,如果您网站的服务器仍然只使用 HTTP/1.1,那很好。
通过 HTTP 进行抓取没有任何缺点,并且不会中断 Googlebot 对您网站的常规抓取模式。
尽管在初步测试中没有显示出负面影响,但谷歌正在为网站提供一种方式,让他们可以根据需要选择退出这一变化。
当 Googlebot 尝试通过 h2 抓取您的网站时,您可以通过指示服务器以 421 HTTP 状态代码响应来选择不让 Google 通过 HTTP/2 抓取您的网站。
Google 在一组常见问题解答中解决了有关 HTTP/2 的其他问题。
常见问题解答:Googlebot 和 HTTP/2
为什么现在要升级 Googlebot?
允许 Googlebot 通过 HTTP/2 进行抓取的软件终于成熟到可以在生产中使用。
网站所有者是否需要升级他们的服务器来为这种变化做准备?
谷歌表示,这取决于各个网站所有者来决定。
Googlebot 只会切换到通过 HTTP/2 抓取“支持它并且显然会从中受益”的网站。
这意味着,如果通过 HTTP/2 抓取没有明显的好处,Googlebot 将继续通过 HTTP 抓取。
如何判断我的网站是否支持 HTTP/2?
谷歌指出这一点 博文 来自 Cloudflare,它有不同的方法来测试站点是否支持 HTTP/2。
如何将我的网站升级到 HTTP/2?
Google 建议与您的服务器管理员或托管服务提供商交谈。
如何强制 Googlebot 通过 HTTP/2 进行抓取?
谷歌表示,这是不可能的。
如前所述,如果服务器支持,将通过 HTTP/2 抓取网站,并且网站和 Googlebot 都将从中受益。
例如,如果通过 HTTP/2 抓取不会显着节省资源,那么 Googlebot 将继续通过 HTTP/1.1 抓取网站。
Googlebot 通过 HTTP/2 抓取有什么好处?
服务器和 Googlebot 的主要好处是节省资源。
通过 HTTP/2 进行爬网不会影响站点索引或爬网频率。
通过 HTTP/2 抓取的网站是否有排名优势?
不,绝对没有排名优势。