
Google 已更新其Google 爬虫帮助文档,具体说明Google Favicon 爬虫现在尊重Googlebot 和Googlebot-Image 机器人规则。以前,它似乎只是尊重自己的Google Favicon 规则,但几天前已更改或更新。
今年早些时候的文档显示了这一点:
修订后的文件显示了这一点:
我从哪里找到这个的戴夫·斯马特(Dave Smart)说 推特 “仅供参考:看起来谷歌的网站图标爬虫现在尊重Googlebot-Image / Googlebot robots.txt 规则,(显然之前遵循它自己的,Googlebot 网站图标)所以也许要确保你现在不会意外阻止它。”
论坛讨论在 推特.