Google Favicon Crawler 现在使用Googlebot 和Googlebot-Image 令牌

Google 已更新其Google 爬虫帮助文档,具体说明Google Favicon 爬虫现在尊重Googlebot 和Googlebot-Image 机器人规则。以前,它似乎只是尊重自己的Google Favicon 规则,但几天前已更改或更新。

今年早些时候的文档显示了这一点:

点击查看完整尺寸

修订后的文件显示了这一点:

点击查看完整尺寸

我从哪里找到这个的戴夫·斯马特(Dave Smart)说 推特 “仅供参考:看起来谷歌的网站图标爬虫现在尊重Googlebot-Image / Googlebot robots.txt 规则,(显然之前遵循它自己的,Googlebot 网站图标)所以也许要确保你现在不会意外阻止它。”

论坛讨论在 推特.

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索