早在2007 年，Google 就为SEO 或网站所有者提出了一种机制，以通过反向DNS 检查来验证Googlebot 的身份。但是现在，Google 还决定发布一个IP 地址列表，供Googlebot 用来抓取您的网站。
Google 发布了两个不同的JSON 文件，其中包含Googlebot 可以使用的IP 地址列表：
(1) 您可以通过将爬虫的IP 地址与此JSON 文件中的Googlebot IP 地址列表匹配来通过IP 地址识别Googlebot。
(2) 对于所有其他Google 爬虫，将爬虫的IP 地址与此JSON 文件中的完整Google IP 地址列表相匹配。
我假设这些IP 地址可能会不时更改，因此您每天检查JSON 文件的更新可能是有意义的，也就是说，如果您自动化任何脚本以使用此IP 列表。
很高兴这些由Google 正式发布。请注意，此处还列出了其他验证Googlebot 的方法。
我问Google 的John Mueller 为什么他们现在这样做，为什么反向DNS 不够好？约翰回应 推特 说“它使某些网站（CDN 等）变得更容易了，而且围绕隐藏的旧问题/风险似乎已经大部分消失了，所以……”
它使某些网站（CDN 等）变得更容易一些，并且围绕伪装的旧问题/风险似乎已经大部分消失了，所以 pic.twitter.com/PgsGYBzn6i
— 🧀 约翰🧀 (@JohnMu) 2021 年11 月10 日
论坛讨论在 推特.
