谷歌官方提供的JSON 文件中的Googlebot IP 地址

早在2007 年,Google 就为SEO 或网站所有者提出了一种机制,以通过反向DNS 检查来验证Googlebot 的身份。但是现在,Google 还决定发布一个IP 地址列表,供Googlebot 用来抓取您的网站。

Google 发布了两个不同的JSON 文件,其中包含Googlebot 可以使用的IP 地址列表:

(1) 您可以通过将爬虫的IP 地址与此JSON 文件中的Googlebot IP 地址列表匹配来通过IP 地址识别Googlebot。

(2) 对于所有其他Google 爬虫,将爬虫的IP 地址与此JSON 文件中的完整Google IP 地址列表相匹配。

我假设这些IP 地址可能会不时更改,因此您每天检查JSON 文件的更新可能是有意义的,也就是说,如果您自动化任何脚本以使用此IP 列表。

很高兴这些由Google 正式发布。请注意,此处还列出了其他验证Googlebot 的方法。

我问Google 的John Mueller 为什么他们现在这样做,为什么反向DNS 不够好?约翰回应 推特 说“它使某些网站(CDN 等)变得更容易了,而且围绕隐藏的旧问题/风险似乎已经大部分消失了,所以……”

论坛讨论在 推特.

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索