Google 使用预测方法来检测基于 URL 模式的重复内容，这可能会导致页面被错误地识别为重复内容。
为了防止不必要的抓取和索引编制，Google 会尝试根据其 URL 预测页面何时可能包含相似或重复的内容。
当 Google 抓取具有类似 URL 模式的页面并发现它们包含相同的内容时，它可能会确定具有该 URL 模式的所有其他页面也具有相同的内容。
不幸的是，对于网站所有者来说，这可能意味着具有独特内容的页面会被视为重复页面，因为它们与实际重复的页面具有相同的 URL 模式。 然后这些页面将被排除在 Google 的索引之外。
在 3 月 5 日录制的 Google Search Central SEO 视频群聊中讨论了该主题。网站所有者 Ruchit Patel 向 Mueller 询问他的活动网站，其中数千个 URL 没有被正确编入索引。
Mueller 关于为什么会发生这种情况的理论之一是因为用于检测重复内容的预测方法。
请阅读以下部分中穆勒的回复。
谷歌的约翰穆勒预测重复内容
谷歌有多个级别来确定网页何时具有重复内容。
其中一种是直接查看页面内容，另一种是根据其 URL 预测页面何时重复。
“在我们这边往往会发生的是，我们有多个级别的尝试来了解网站上何时存在重复内容。 一个是当我们直接看页面的内容时，我们会看到，嗯，这个页面有这个内容，这个页面有不同的内容，我们应该把它们当作单独的页面。
另一件事是一种更广泛的预测方法，我们在其中查看我们看到的网站的 URL 结构，嗯，过去，当我们查看看起来像这样的 URL 时，我们已经看到了它们与这样的 URL 具有相同的内容。 然后我们基本上会学习这种模式，然后说，看起来像这样的 URL 和看起来像这样的 URL 是一样的。”
Mueller 继续解释 Google 这样做的原因是为了在抓取和索引方面节省资源。
当 Google 认为一个页面是另一个页面的重复版本，因为它具有相似的 URL 时，它甚至不会抓取该页面以查看内容的真实样子。
“即使不查看单个 URL，我们有时也可以说，好吧，我们会省去一些爬网和索引，只关注这些假设的或很可能的重复案例。 我已经看到这种情况发生在城市之类的事情上。
我已经看到类似的事情发生了，我不知道，汽车是我们看到发生的另一种情况，本质上我们的系统会识别出您指定为城市名称的内容与实际 URL 不太相关。 通常，当一个网站提供大量相同内容但具有替代名称时，我们就会学习这种模式。”
穆勒谈到了谷歌检测重复内容的预测方法如何影响活动网站：
“所以对于一个活动站点，我不知道您的网站是否属于这种情况，对于一个活动站点，您可能会选择一个城市，然后您选择一个可能一公里外的城市，以及活动页面您展示的内容完全相同，因为相同的事件与这两个地方相关。
如果你在 5 公里以外的城市拍摄，你会再次展示完全相同的事件。 从我们的角度来看，这很容易导致我们说，好吧，我们检查了 10 个事件 URL，而这个看起来像城市名称的参数实际上是无关紧要的，因为我们检查了其中的 10 个并且它显示了相同的内容。
这就是我们的系统可以说，好吧，也许整个城市名称是无关紧要的，我们可以忽略它。”
网站所有者可以做些什么来纠正这个问题？
作为此问题的潜在解决方案，Mueller 建议寻找存在重复内容的真实情况并尽可能限制这种情况。
“所以在这种情况下，我会尝试做的是看看你是否有这种情况，你的内容有很强的重叠，并试图找到尽可能限制这种情况的方法。
这可能是通过在页面上使用 rel canonical 之类的内容并说，嗯，这个就在大城市之外的小城市，我会将规范设置为大城市，因为它显示的内容完全相同。
因此，实际上我们在您的网站和索引上抓取的每个 URL，我们都可以看到，这个 URL 及其内容是独一无二的，对我们来说，将所有这些 URL 编入索引很重要。
或者我们看到明确的信息表明您知道的这个 URL 应该与另一个相同，您可能已经设置了重定向或者您在那里设置了 rel 规范，我们可以只关注那些主要 URL 并且仍然理解那里的城市方面对您的个人页面至关重要。”
穆勒没有解决这个问题，但值得注意的是，没有与重复内容相关的惩罚或负面排名信号。
谷歌最多不会索引重复的内容，但它不会对整个网站产生负面影响。
在下面的视频中听到穆勒的回应：
