Bingbot 用户代理正在改变

Bing 宣布它正在更改将自己标识为 Bingbot 的用户代理字符串。 现在将有两个用户代理,一个用于桌面,另一个用于移动爬虫。

新的用户代理提供了更多信息,包括最新版本的 Edge。

用户代理

用户代理是来自软件的消息,它告诉网站服务器什么样的软件设备正在访问它。

用户代理可以告诉网站它是浏览器还是搜索引擎机器人。

一些网站软件和 SaaS 应用程序依赖用户代理来识别搜索机器人并执行诸如阻止它们访问搜索或注册页面之类的操作。

必应用户代理更改是一种过渡

微软将继续使用旧的 bingbot 爬虫用户代理,直到 2022 年秋季,这是一个模糊的日期。

但是,必应网站管理员工具 URL 检查工具已经切换到新的 bingbot 用户代理。

有些应用程序和软件可能需要更新,所以这给了他们几个月的时间来更新他们的软件,以便他们能够准确地识别 bingbot。

但是没有必要更新 robots.txt,因为新版本可以继续在 robots.txt 中作为 bingbot 进行寻址。

Robots.txt 不需要更新以适应新的 bingbot 用户代理字符串。

然而,对于进行部分匹配的软件和服务,例如 phpBB,不需要更新代码以适应新的用户代理。

如果发布者、应用程序或软件使用 bingbot/ 来识别具有部分地图的 bingbot,那么该代码将继续工作。

新旧用户代理

这是旧的 bingbot 用户代理:

Mozilla/5.0 (compatible; bingbot/2.0; +

新的 bingbot 用户代理是一项改进,因为它们可以识别 Microsoft Bing 网络爬虫的桌面版和移动版。

这些是新的 bingbot 用户代理:

桌面

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; + Chrome/W.X.Y.Z Safari/537.36

移动的

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +

根据微软必应官方公告:

“我们将仔细测试网站,然后再将它们切换到我们的新用户代理 Bing 网站管理员工具 URL 检查已经开始使用新的桌面用户代理进行实时 URL 测试,以帮助您调查潜在问题。

如果您遇到任何挑战,请随时 联系我们。”

引文

阅读微软必应官方公告

宣布 Bing 爬虫 bingbot 的用户代理更改

给TA打赏
共{{data.count}}人
人已打赏

在 Twitter 上更好地参与的愚蠢简单的秘密成分

2021-11-23 10:55:17

主题

Chatoram - 素描和 PSD UI 工具包模板

2022-9-17 15:21:01

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索