我们已经像Google 一样知道并且可以处理相同的URL，但不同的情况下不同。因此，Google 可以将domain.com/Apple 与domain.com/apple 视为不同的URL。但是对于robots.txt 文件，Google 似乎对这条规则更加严格。
通过domain.com/Apple 与domain.com/apple，Google 可以判断页面是否相同，并将URL 规范化为其中之一，因此两者都不会出现在搜索中，Google 也可以整合这些信号。
但是，如果您有domain.com/apple 的robots.txt 指令，但没有domain.com/Apple 的robots.txt 指令，Google 可能不会使用Robots 指令？
来自Google 的John Mueller 发布了有关URL 区分大小写的视频，并在1:08 标记说“确切的URL 发挥作用的另一个地方是robots.txt。在robots.txt 文件中，您可以指示网站的哪些部分不应该被抓取。robots.txt 文件也使用精确的URL。因此，如果您有条目引用URL 的一个版本，它们将不适用于该URL 的其他版本。 约翰确实补充说，“虽然我们很少看到这会导致问题。 ”
因此，请记住这一点，这不仅适用于Google 如何规范您的URL，也适用于robots.txt 处理。
WebmasterWorld 的论坛讨论和 推特.
