我一直不明白为什么人们会使用爬虫来构建他们的XML 站点地图文件。我想如果您无权读取CMS 的数据库，您会这样做，但效率似乎很低。谷歌的约翰·穆勒(John Mueller) 在Reddit 上也这么说。
John Mueller 说：“在后端实现自动化（根据本地数据库生成文件）。这样，当发生更改时，您可以立即ping 站点地图文件，并且您可以获得准确的最后修改日期。不要抓取您自己的网站，谷歌已经这样做了。”
因此，请确保根据数据库所见和所做的来重建XML 站点地图文件。不要抓取您的网站来制作站点地图文件，因为（1）您可能会错过一些东西，（2）它会对您的服务器资源造成不必要的压力。
高效、明智地利用您的资源。
好消息是，现在大多数CMS 平台已经做到了这一点。
Reddit 上的论坛讨论。
