
谷歌于12 月宣布将更改当前GoogleBot 的用户代理名称。当Google 推出新的Evergreen GoogleBot 时,我们就知道这一切即将到来。
Google 没有将Chrome 41 中的用户代理更改为实际运行的用户代理,以免对某些硬编码用户代理检测脚本的人造成问题。查看GoogleBot 正在运行的Chrome 版本的唯一方法是查看GoogleBot 可以呈现哪些功能。
从12 月开始,GoogleBot 的用户代理将传达该信息。
今天的Googlebot 用户代理
移动的:
Mozilla/5.0(Linux;Android 6.0.1;Nexus 5X Build/MMB29P)AppleWebKit/537.36(KHTML,如Gecko)Chrome/41.0.2272.96 Mobile Safari/537.36(兼容;Googlebot/2.1;+http://www.google .com/bot.html)
桌面:Mozilla/5.0(兼容;Googlebot/2.1;+http://www.google.com/bot.html)
或者
Mozilla/5.0 AppleWebKit/537.36(KHTML,如Gecko;兼容;Googlebot/2.1;+http://www.google.com/bot.html)Safari/537.36
12 月,新的常青GoogleBot 用户代理
12 月,Google 将开始更新上述用户代理字符串,以反映Googlebot 中使用的Chrome 版本。在以下用户代理字符串中,“WXYZ”将替换为Google 使用的Chrome 版本。例如,您将看到类似于“76.0.3809.100”的内容,而不是WXYZ。该版本号将定期更新。
移动的:Mozilla/5.0(Linux;Android 6.0.1;Nexus 5X Build/MMB29P)AppleWebKit/537.36(KHTML,如Gecko)Chrome/WXYZ Mobile Safari/537.36(兼容;Googlebot/2.1;+http://www.google.com /bot.html)
桌面:Mozilla/5.0(兼容;Googlebot/2.1;+http://www.google.com/bot.html)
或者
Mozilla/5.0 AppleWebKit/537.36(KHTML,如Gecko;兼容;Googlebot/2.1;+http://www.google.com/bot.html)Chrome/WXYZ Safari/537.36
您可以为此做好准备,使用Chrome 开发工具将您的用户代理更改为这些新的GoogleBot 之一,并查看GoogleBot 可以看到什么。
除此之外,大多数网站确实不应该有这个问题。那些进行用户代理嗅探以及基于GoogleBot 的特殊操作的人将必须更新他们的代码。
谷歌的马丁·斯普利特(Martin Splitt) 表示,不要以为它总是会包含Chrome:
我不会做出这样的假设(:
— 马丁·斯普利特@🇨🇭🏡 (@g33konaut) 2019 年10 月2 日
以下是Google 员工就此发布的更多推文:
是时候仔细检查*是否* 以及*如何* 执行UA 嗅探来检测Googlebot 😎 https://t.co/E95oow0Kpm
— 马丁·斯普利特@🇨🇭🏡 (@g33konaut) 2019 年10 月2 日
今天的新闻:您的广告拦截器检测脚本是否会将您的网站从搜索引擎中删除?答案可能会让你大吃一惊! pic.twitter.com/jBbn8030J3
— Gary “鲸理” Illyes (@methode) 2019 年10 月2 日
以下来自必应:
当我开发爬虫时,每当我们考虑更改UA 时,我们都会很快放弃,因为担心进行硬编码UA 检测的网站会破坏太多东西。但有时更新用户代理*是*正确的做法。
— 弗雷德里克·杜布(@CoperniX) 2019 年10 月2 日
你必须在十二月之前为此做好准备。
论坛讨论于 推特。