
如您所知,上周,也就是4 月26 日,Google 禁用了Google Search Console 中的URL 参数工具,并停止遵守添加到该工具的任何规则。有人问他们最近使用Googlebot 看到的抓取高峰是否与这一变化有关。
Dave Smart 在Twitter 上发布的图表显示了他此时的爬行活动激增。当然,这很容易与URL 参数工具无关。几乎不可能将这种爬网峰值隔离到URL 参数工具。但戴夫确实说这段时间没有其他变化。
以下是他的推文:
1/3 走了,但没有忘记!现在可能是检查正在抓取的内容的好时机。
我怀疑他们使用几天前在这里配置的东西贬值了,这是客户网站的抓取统计信息https://t.co/FbBvbCWjct pic.twitter.com/yAPhONATGU— 戴夫·斯马特(@davewsmart) 2022 年4 月26 日
3/3 明智地使用robots.txt 很快将其从gbot 的每秒9 次点击率降低到每秒1.5 / 2 次,以及(更多)那些真正有价值的URL。临时修复,无论如何,该网站很快就会重新平台化。如果您的网站依赖于param 工具,请留意。
— 戴夫·斯马特(@davewsmart) 2022 年4 月26 日
Glenn Gabe 插嘴说这可能无关:
他们总是很有可能捡起并开始随机爬行。我同意!这在13 日开始升温,因此在将近2 周前,没有其他真正的变化,但没有什么是一成不变的。
— 戴夫·斯马特(@davewsmart) 2022 年4 月26 日
来自Google 的John Mueller 也同意:
这也是我的看法。系统也会随着时间的推移自动调整,所以我不会期望这是完全静态的。
— ? johnmu.xml(个人)?(@JohnMu) 2022 年4 月26 日
当然,一切皆有可能。我私下从其他一些人那里听说,在URL 参数工具消失后,他们看到了明显的爬网高峰——是的,他们大量使用了该工具。但同样,没有访问谷歌的目的是不可能确认的。
你是否也注意到了这一点?大家怎么看?
论坛讨论在 推特.