
Google 的John Mueller 表示,Googlebot 会在您的网站上“提交表单的情况极为罕见”。他说谷歌过去更经常这样做,尤其是在没有网站导航的政府网站上,访问公共内容的唯一方法是使用网站上的搜索框。但是现在大多数网站都有很好的链接导航,谷歌很少需要提交表单。
他补充说,如果你确实看到GoogleBot 在你的网站上提交表单,这可能表明你需要改进网站的导航和架构,以使谷歌能够正常抓取网站。
他在这段视频的15:08 处说了这句话:
这是成绩单:
Googlebot 提交表单的情况极为罕见。
当网站的结构以我们无法正确抓取的方式构建时,我们最初就是这样做的。特别是我们在许多政府网站上看到了这个问题,这些网站上有很多内容,但要找到它,您必须转到搜索表单才能真正找到该内容的链接。对于这样的网站,获得详细内容的唯一方法几乎就是通过搜索表单。
然而,对于几乎所有现代站点,我们都可以正常进行爬网,而且人们习惯于创建一个我们可以使用类别和子类别进行爬网的结构。基本上我们永远不需要通过任何表格。
所以我可以想像,如果您查看服务器日志并查看Googlebot,大多数拥有网站的人都可以查看这些日志,您可能永远不会看到Googlebot 提交您在网站上拥有的任何表单。
所以这是非常非常罕见的事情,而且通常在网站上确实发生这种情况时,这是我们无法正常抓取的一种迹象。我们意识到那里有很多内容,但我们实际上根本找不到这些内容。
因此,如果您看到这种情况发生,我会有点像我做错了什么,我可以做些什么不同的方向,关于我网站的导航结构。这是我认为的主要方面,考虑到增加更多的复杂性,如iframe 或其他域,我怀疑其中很多只是出于实际原因而不会发生。因为我们想避免遇到这样的情况,即我们不小心输入了信用卡号之类的东西,并且不小心Googlebot 启动并用它来购买东西或填写一些联系表格,就像随机信息一样。所有这些都没有真正意义,它造成的问题几乎多于它对任何人的帮助。所以这就是我想像的事情,如果你有一个带有iframe 和其他域的配置,你可能永远不会看到Googlebot 通过它。
2008 年,谷歌表示它可以在表单后面抓取内容,但2015 年谷歌表示只有在无法通过正常导航访问您的内容时才会这样做。
YouTube 社区的论坛讨论。