
上周在SiteGround 上托管的网站发现自己没有被谷歌的爬虫Googlebot 抓取。根据托管公司的说法,这个问题似乎是提供商的合作伙伴(AWS) 和谷歌之间的DNS 问题。几天后DNS 问题得到解决,但使用DNS,更新需要时间,现在网站又开始被抓取。
正如我上周在Search Engine Land 上报导的那样,Matt Tutt 是最先注意到这个问题的人之一- 它于11 月8 日星期一开始。 SiteGround 说他们在11 月12 日星期五解决了这个问题。
以下是来自SiteGround 的推文:
我们已将此问题上报给Google,我们正在努力解决问题并确定问题的原因。一旦有更多信息或问题得到解决,我们会及时通知您。
— SiteGround (@SiteGround) 2021 年11 月10 日
状态更新:我们很高兴地通知您,我们已经针对某些网站遇到的Google 机器人抓取问题实施了修复。网站已被成功抓取。请等待几个小时让DNS 更改生效。感谢您的耐心等待!
— SiteGround (@SiteGround) 2021 年11 月12 日
但它完全修复了吗?
为什么- 我错过了什么?他们只是说他们已将其追溯到该特定问题,但未进行任何修复。我刚刚测试了我的一个网站并得到了以下回复。 pic.twitter.com/Mh42Eci1QC
— 马特·图特(@MattTutt1) 2021 年11 月12 日
12 日之后有更多的投诉,然后SiteGround 表示他们在13 日应用了额外的修复:
我们昨晚应用了修复程序,并且正在逐步重新抓取网站。至于CPU 查询,请DM 我们您的域名,以便我们进一步调查和建议:https://t.co/zMYnoTzgn7
— SiteGround (@SiteGround) 2021 年11 月13 日
似乎从13 日开始,SiteGround 客户对这个问题更加沉默了,这可能意味着问题现在已经解决了?
来自Google 的Caio Barros 一直在帮助为受影响的人提供更新的正在进行的Google Webmaster Help 线程似乎也安静下来了。如果您想查看它,这是一个有趣的线程。
谷歌的John Mueller 还提供了一些关于谷歌如何处理这些DNS 问题的信息,简而言之——一旦问题得到解决,随着时间的推移,事情应该会恢复正常。
首先,这种情况时不时发生,它可能发生在我们身上,它也发生在其他大型服务上(https://t.co/NjQeVR0Hrr)。短暂的中断有时会被忽视,因为DNS 可以被缓存。
— 🧀 约翰🧀 (@JohnMu) 2021 年11 月12 日
Googlebot 通常在同一台服务器上进行DNS 查找,因此我们新发布的IP 地址列表可以帮助检查和允许列表。您可以在Search Console 中使用适合移动设备的测试工具和URL 检查进行测试。 https://t.co/32pLcCkiXz
— 🧀 约翰🧀 (@JohnMu) 2021 年11 月12 日
由于DNS 服务器更改需要时间来传播,除非您知道它会持续一天以上,否则通常不值得迁移到不同的基础架构。通常最简单的做法是让DNS 与主机保持一致,这样任何IP 地址的更改都可以自动更新。
— 🧀 约翰🧀 (@JohnMu) 2021 年11 月12 日
像这样的临时中断通常不会产生持久的影响。技术问题来来去去,我们必须尽最大努力确保用户可以通过搜索结果找到访问您精彩网站的方式。
— 🧀 约翰🧀 (@JohnMu) 2021 年11 月12 日
由于Search Console 通过索引聚合有关URL 的信息的方式,错误计数可能不会立即降为零(即使错误现在已经消失)——这很好,只是一个报告问题。
— 🧀 约翰🧀 (@JohnMu) 2021 年11 月12 日
如果您还在这里并且想知道将来如何完全防止这种情况:这很难。主流托管服务提供商在保持运行方面做得非常出色,而且我很少听到中断的消息。
— 🧀 约翰🧀 (@JohnMu) 2021 年11 月12 日
送他们一些巧克力(不是奶酪):
如果我关心的网站受到影响,我该怎么办?我可能会很生气,并给涉及巧克力的人送去。他们一直在做很棒的工作,我相信他们会与基础设施人员协调,使其工作得更好。 🍫
— 🧀 约翰🧀 (@JohnMu) 2021 年11 月12 日
SiteGround 不是一家小型托管公司,维基百科称该公司托管了大约200 万个域名。
需要明确的是,我不认为这是一个大的AWS 问题,如果是,更多的站点会受到影响。这似乎是SiteGround 特有的东西,他们如何使用AWS?
论坛讨论在 推特 和Google 网站管理员帮助。