谷歌正在寻找GoogleBot 刷新爬取激增的例子

来自Google 的Gary Illyes 在Reddit 上发帖称,他正在寻找GoogleBot 可能无法正常工作的示例。具体来说,他想要“刷新爬虫变得疯狂的情况”的示例。我认为这意味着Googlebot 正在以非常激进的方式重新抓取页面。

Reddit 上有关于Googlebot 一遍又一遍地ping 旧文章URL 的投诉太多了。现在,很可能有人冒充Googlebot,但有可能是Google 的问题。投诉是:

我正在查看来自新闻网站的日志事件,在2020 年发表的一篇文章中,我在某一天出现了峰值。

任何人都知道为什么Googlebot 会在一篇特定文章中访问这么多时间?

来自Google 的Gary Illyes 回复说:“如果你能确认它确实是Googlebot,想把这个URL 发给我吗?我正在寻找刷新爬虫变得疯狂的情况,我会很感激这个例子。”

他还分享了如何验证Googlebot 以确保访问这些页面的确实是Google。

所以我想如果你有例子,请在Reddit 上与Gary 分享。

Reddit 上的论坛讨论。

更新:今天晚些时候,谷歌在Twitter 上发布了这个:

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索