谷歌的John Mueller 说他会建议，如果“如果你看到这些页面足够重要以至于人们链接到它们，那么我会尽量避免被robots txt 阻止它们。”
简而言之，如果您有重要或流行的页面，其中包含大量指向它们的链接，请确保Google 可以访问该页面。
如果您从该页面中删除robots.txt，Google 可能会删除这些链接，而这些链接将无法帮助Google 了解您网站的真正重要性。这意味着，您在Google 搜索中的排名可能会下降。
当然，这要看那段内容的具体情况。因此，这并不是适用于所有情况的简单的一揽子建议。
这是约翰在周五视频的6 点44 分处说的这段话：
YouTube 社区的论坛讨论。
