Google 的 John Mueller 回答了有关使用 robots.txt 阻止特殊文件（包括 .css 和 .htacess）的问题。
这个话题在最新一期的 询问 Google 网站管理员 YouTube 上的视频系列。
这是提交的问题：
“关于 robots.txt，我应该’disallow: /*.css$’、’disallow: /php.ini’，还是’disallow: /.htaccess’？”
作为回应，穆勒说谷歌不能阻止网站所有者禁止这些文件。 虽然肯定不推荐。
“不。 我不能禁止您禁止这些文件。 但这听起来是个坏主意。 你提到了一些特殊情况，让我们来看看。”
在某些情况下，阻止特殊文件只是多余的，但在其他情况下，它可能会严重影响 Googlebot 抓取网站的能力。
这里解释了当每种类型的特殊文件被阻止时会发生什么。
有关的： 如何使用 Robots.txt 文件解决安全风险
阻止 CSS
抓取 CSS 绝对至关重要，因为它允许 Googlebot 正确呈现页面。
网站所有者可能觉得有必要阻止 CSS 文件，这样文件就不会被自己编入索引，但穆勒说这通常不会发生。
Google 无论如何都需要该文件，因此即使 CSS 文件最终被编入索引，它的危害也不会像阻止它那样大。
这是穆勒的回应：
“’*.css’ 将阻止所有 CSS 文件。 我们需要能够访问 CSS 文件，以便我们能够正确呈现您的页面。
例如，这很重要，以便我们可以识别页面何时适合移动设备。
CSS 文件通常不会自己被索引，但我们需要能够抓取它们。”
阻止 PHP
没有必要使用 robots.txt 来阻止 php.ini，因为它不是一个可以随时访问的文件。
这个文件应该被锁定，这甚至阻止了 Googlebot 访问它。 这很好。
正如 Mueller 解释的那样，阻止 PHP 是多余的：
“您还提到了 PHP.ini——这是 PHP 的配置文件。 一般来说，这个文件应该被锁定，或者在一个特殊的位置，这样没有人可以访问它。
如果没有人可以访问它，那么它也包括 Googlebot。 所以，再一次，没有必要禁止爬行。”
阻止 htaccess
与 PHP 一样，.htaccess 是一个锁定文件。 这意味着它不能被外部访问，即使是 Googlebot。
它不需要被禁止，因为它一开始就无法被抓取。
“最后，你提到了.htaccess。 这是一个特殊的控制文件，默认情况下不能被外部访问。 与其他锁定文件一样，您无需明确禁止其抓取，因为它根本无法访问。”
有关的： 设置 Meta Robots 标签和 Robots.txt 的最佳实践
穆勒的建议
穆勒用简短的几句话结束了视频，介绍了网站所有者应该如何创建 robots.txt 文件。
网站所有者在复制另一个网站的 robots.txt 文件并将其用作自己的文件时往往会遇到问题。
穆勒不建议这样做。 相反，批判性地考虑您不希望抓取您网站的哪些部分，并且只否认这些部分。
“我的建议是不要仅仅重复使用别人的 robots.txt 文件并假设它会起作用。 相反，请考虑您确实不想抓取网站的哪些部分，然后禁止抓取这些部分。”
相关文章：
