Googlebot 开始通过 HTTP/2 抓取网站

从 11 月开始,Googlebot 将支持通过 HTTP/2 对某些网站进行抓取。 HTTP/2 是 HTTP 的下一个主要版本。

谷歌今天在公司博客上发布的公告中证实了这一即将到来的更新。

由于改进了架构,HTTP/2 是对 HTTP 的升级。 它所构建的架构允许它为客户端和服务器提供更多功能。

关于 HTTP/2,大多数人需要了解的是:它比 HTTP 更健壮、更高效、更快。

谷歌表示,这一改变是为了让抓取在服务器和资源使用方面更有效率。

“借助 h2,Googlebot 能够打开到服务器的单个 TCP 连接,并通过它有效地并行传输多个文件,而不需要多个连接。

打开的连接越少,服务器和 Googlebot 用于抓取的资源就越少。”

以下是 HTTP/2 抓取的实现方式。

Googlebot 通过 HTTP/2 爬行

通过 HTTP/2 抓取某些网站的切换将分阶段进行。

第一阶段,Googlebot 将通过 HTTP/2 抓取少量网站,并逐渐扩展到更多受益于所支持功能的网站。

Googlebot 决定通过 HTTP/2 抓取哪些网站,询问该网站是否支持它以及 Googlebot 是否会从通过 HTTP/2 的抓取中受益。

在以下情况下,站点可能有资格进行连接升级:

  • 该站点的服务器支持 HTTP/2
  • Googlebot 已经多次抓取该网站

网站所有者无需为更改做任何准备。

Google 指出,如果您网站的服务器仍然只使用 HTTP/1.1,那很好。

通过 HTTP 进行抓取没有任何缺点,并且不会中断 Googlebot 对您网站的常规抓取模式。

尽管在初步测试中没有显示出负面影响,但谷歌正在为网站提供一种方式,让他们可以根据需要选择退出这一变化。

当 Googlebot 尝试通过 h2 抓取您的网站时,您可以通过指示服务器以 421 HTTP 状态代码响应来选择不让 Google 通过 HTTP/2 抓取您的网站。

Google 在一组常见问题解答中解决了有关 HTTP/2 的其他问题。

常见问题解答:Googlebot 和 HTTP/2

为什么现在要升级 Googlebot?

允许 Googlebot 通过 HTTP/2 进行抓取的软件终于成熟到可以在生产中使用。

网站所有者是否需要升级他们的服务器来为这种变化做准备?

谷歌表示,这取决于各个网站所有者来决定。

Googlebot 只会切换到通过 HTTP/2 抓取“支持它并且显然会从中受益”的网站。

这意味着,如果通过 HTTP/2 抓取没有明显的好处,Googlebot 将继续通过 HTTP 抓取。

如何判断我的网站是否支持 HTTP/2?

谷歌指出这一点 博文 来自 Cloudflare,它有不同的方法来测试站点是否支持 HTTP/2。

如何将我的网站升级到 HTTP/2?

Google 建议与您的服务器管理员或托管服务提供商交谈。

如何强制 Googlebot 通过 HTTP/2 进行抓取?

谷歌表示,这是不可能的。

如前所述,如果服务器支持,将通过 HTTP/2 抓取网站,并且网站和 Googlebot 都将从中受益。

例如,如果通过 HTTP/2 抓取不会显着节省资源,那么 Googlebot 将继续通过 HTTP/1.1 抓取网站。

Googlebot 通过 HTTP/2 抓取有什么好处?

服务器和 Googlebot 的主要好处是节省资源。

通过 HTTP/2 进行爬网不会影响站点索引或爬网频率。

通过 HTTP/2 抓取的网站是否有排名优势?

不,绝对没有排名优势。

给TA打赏
共{{data.count}}人
人已打赏

试试这些将 Google 搜索结果导出到 Excel 的工具和方法

2022-6-9 6:45:40

如何通过 Facebook 广告获得高质量的 B2B 潜在客户

2021-11-25 11:52:03

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索