
微软的Fabrice Canel 表示,Bing 每天都会发现12 亿个以前从未见过的标准化URL。一天之内,BingBot 可以找到很多新的URL,你不觉得吗?
但是网络很大,内容不断被生产出来,不仅是高质量的内容,还有大量的垃圾、胡言乱语、机器生成的内容等等。
法布里斯解释说 推特 大部分内容是“大部分无用的内容”,他列举了重复内容、抓取的内容、自动生成的内容、垃圾邮件内容、垃圾内容等示例。
因此,虽然Bing 每天可能会发现数十亿个新URL,但我怀疑它会索引其中的大部分内容。
以下是这些推文:
互联网站点= ♾。我们发现在 #bing 每天有12 亿个以前从未见过的标准化URL。大部分是无用的内容(重复/抓取/自动生成的内容、垃圾邮件、垃圾等)。请参阅我们的指南 包括“要避免的事情”
— 法布里斯·卡内尔(@facan) 2022 年8 月17 日
论坛讨论在 推特.