
本月早些时候,Bing 宣布了一项试点,允许一些发布商向搜索引擎提交内容和HTML,而Bing 根本不需要抓取页面。这将有效地消除对这些网站进行爬网的要求。我询问谷歌是否也在考虑这样做,该公司表示没有。
在视频的22 分43 秒处,我向Google 的John Mueller 询问了此事。他表示,据他所知,Google 并未与Bing 协调提交URL 或HTML,而不是抓取网络。谷歌确实有索引API,但该API 仅适用于职位发布和直播,John 表示它“与Bing 所做的有很大不同”。
约翰说,每当谷歌讨论通过使用某种索引API从频繁产生大量内容的网站更快地获取内容的可能性时,他说所有这些讨论都会导致谷歌表示他们仍然希望抓取这些网站。他说,到目前为止,谷歌更喜欢能够抓取页面并从那里获取内容,而不是在不抓取的情况下获取内容和HTML。
这是我问约翰这个问题的嵌入,他回答说:
YouTube 社区的论坛讨论。