
来自Google 的Gary Illyes 在Reddit 上发帖称,他正在寻找GoogleBot 可能无法正常工作的示例。具体来说,他想要“刷新爬虫变得疯狂的情况”的示例。我认为这意味着Googlebot 正在以非常激进的方式重新抓取页面。
Reddit 上有关于Googlebot 一遍又一遍地ping 旧文章URL 的投诉太多了。现在,很可能有人冒充Googlebot,但有可能是Google 的问题。投诉是:
我正在查看来自新闻网站的日志事件,在2020 年发表的一篇文章中,我在某一天出现了峰值。
任何人都知道为什么Googlebot 会在一篇特定文章中访问这么多时间?
来自Google 的Gary Illyes 回复说:“如果你能确认它确实是Googlebot,想把这个URL 发给我吗?我正在寻找刷新爬虫变得疯狂的情况,我会很感激这个例子。”
他还分享了如何验证Googlebot 以确保访问这些页面的确实是Google。
所以我想如果你有例子,请在Reddit 上与Gary 分享。
Reddit 上的论坛讨论。
更新:今天晚些时候,谷歌在Twitter 上发布了这个:
在报告索引问题之前,请务必咨询我们的社区论坛并查看我们的支持文档,其中重点介绍了一些其他有用的工具:https://t.co/zAnLObe41yhttps://t.co/IVZUc0hxPB
— 谷歌搜索中心(@googlesearchc) 2021 年8 月16 日