谷歌称URL 案例适用于Robots.txt 指令

我们已经像Google 一样知道并且可以处理相同的URL,但不同的情况下不同。因此,Google 可以将domain.com/Apple 与domain.com/apple 视为不同的URL。但是对于robots.txt 文件,Google 似乎对这条规则更加严格。

通过domain.com/Apple 与domain.com/apple,Google 可以判断页面是否相同,并将URL 规范化为其中之一,因此两者都不会出现在搜索中,Google 也可以整合这些信号。

但是,如果您有domain.com/apple 的robots.txt 指令,但没有domain.com/Apple 的robots.txt 指令,Google 可能不会使用Robots 指令?

来自Google 的John Mueller 发布了有关URL 区分大小写的视频,并在1:08 标记说“确切的URL 发挥作用的另一个地方是robots.txt。在robots.txt 文件中,您可以指示网站的哪些部分不应该被抓取。robots.txt 文件也使用精确的URL。因此,如果您有条目引用URL 的一个版本,它们将不适用于该URL 的其他版本。 约翰确实补充说,“虽然我们很少看到这会导致问题。 ”

因此,请记住这一点,这不仅适用于Google 如何规范您的URL,也适用于robots.txt 处理。

WebmasterWorld 的论坛讨论和 推特.

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索