Google 的 John Mueller 询问 SEO 社区为什么人们缺少 URL 提交工具。 一位人士表示，小型网站处于不利地位，因为大型网站的抓取频率更高。 John Mueller 分享了有关 Google 如何抓取网站的见解。
大型网站是否更频繁地被抓取？
流行且链接更频繁的网站可能会被更频繁地抓取。 链接是抓取过程的一部分，因为 Googlebot 正在从一个链接到另一个链接进行抓取。
因此，假设热门网站比不那么受欢迎的网站更频繁地被抓取并不是没有道理的。
这是 约翰穆勒的原始问题：
“我看到人们期待 URL 提交工具的回归。 我没有任何新消息，但我很想了解更多关于你为什么错过它的信息。
让我知道您缺少该工具的哪些 URL，以及您通常如何使用它。 谢谢！”
我看到人们期待 URL 提交工具的回归。 我没有任何新消息，但我很想了解更多关于你为什么错过它的信息。
让我知道您缺少该工具的哪些 URL，以及您通常如何使用它。 谢谢！
— 🍌 约翰🍌 (@JohnMu) 2020 年 11 月 9 日
和 出版商回答：
“@约翰穆，
您知道爬虫访问小型网站的频率不如大型网站。 因此，对于关键页面的任何更新和更快的索引，我们依赖于 URL 提交工具。 通过删除对该工具的访问权限，您将偏爱大型网站并打击小型网站。”
约翰穆勒回应 抓取与网站的大小无关。
“抓取与网站大小无关。 一些网站有大量（无用的）URL，幸运的是我们并没有从它们那里抓取太多。 如果您在您的网站上发现了问题的示例，请随时将其添加到表单中。”
问这个问题的人说，一些发布平台不会自动更新他们的站点地图。
John Mueller 建议升级平台以便自动更新站点地图是更简单的解决方案。
“还有网站不使用站点地图？ 似乎比手动提交每个新的或更新的 URL 更简单……
…在这种情况下听起来像是要解决的问题:)。 手动提交永远不可扩展，请确保它自动运行。
….自动生成站点地图文件似乎是任何严肃网站的最低基线，imo。”
大型网站和热门网站
我认为在上述交流中被忽略的是发布者所说的“大网站”被更频繁地抓取时的意思。 约翰·穆勒（John Mueller）从一个网站包含多少页面的角度回答了这个问题。
假设发布者的意思是一个更受欢迎的网站比没有那么多链接的较小网站具有优势，这可能不是不合理的。
然而，Mueller 提到包含无用 URL 的更大（有时更受欢迎）网站是公平的。 这意味着较小的网站更容易抓取，效率更高，事实上，如果您能够查看抓取日志，Google 似乎确实会相当频繁地访问较小且不太受欢迎的网站。
如果几天或几周后谷歌没有发现您的某些页面，那么站点地图可以提供帮助。 但这也可能表明内容或链接的质量存在更深层次的问题。
