谷歌的约翰·穆勒(John Mueller) 表示 推特 Google“从不支持robots.txt 中的抓取延迟”。 Bing 的Frédéric Dubut 表示 推特 “Bingbot 支持抓取延迟。” 这并不是说Google 不会让您减慢抓取速度，您可以这样做，具体方法如下。
以下是推文：
我们从未在robots.txt 中支持爬行延迟- 那里给出的数字在大多数情况下往往是不切实际的。
— 🍌 约翰🍌 (@JohnMu) 2019 年12 月12 日
是的，Bingbot 支持爬行延迟。
— 弗雷德里克·杜布(@CoperniX) 2019 年12 月12 日
抓取速度设置仍在旧版Search Console 中，但您仍然可以在此处访问它。您可以在此处了解有关Google 抓取速度的更多信息。
论坛讨论于 推特。
