Google SEO 101:阻止 Robots.txt 中的特殊文件

Google 的 John Mueller 回答了有关使用 robots.txt 阻止特殊文件(包括 .css 和 .htacess)的问题。

这个话题在最新一期的 询问 Google 网站管理员 YouTube 上的视频系列。

这是提交的问题:

“关于 robots.txt,我应该’disallow: /*.css$’、’disallow: /php.ini’,还是’disallow: /.htaccess’?”

作为回应,穆勒说谷歌不能阻止网站所有者禁止这些文件。 虽然肯定不推荐。

“不。 我不能禁止您禁止这些文件。 但这听起来是个坏主意。 你提到了一些特殊情况,让我们来看看。”

在某些情况下,阻止特殊文件只是多余的,但在其他情况下,它可能会严重影响 Googlebot 抓取网站的能力。

这里解释了当每种类型的特殊文件被阻止时会发生什么。

有关的: 如何使用 Robots.txt 文件解决安全风险

阻止 CSS

抓取 CSS 绝对至关重要,因为它允许 Googlebot 正确呈现页面。

网站所有者可能觉得有必要阻止 CSS 文件,这样文件就不会被自己编入索引,但穆勒说这通常不会发生。

Google 无论如何都需要该文件,因此即使 CSS 文件最终被编入索引,它的危害也不会像阻止它那样大。

这是穆勒的回应:

“’*.css’ 将阻止所有 CSS 文件。 我们需要能够访问 CSS 文件,以便我们能够正确呈现您的页面。

例如,这很重要,以便我们可以识别页面何时适合移动设备。

CSS 文件通常不会自己被索引,但我们需要能够抓取它们。”

阻止 PHP

没有必要使用 robots.txt 来阻止 php.ini,因为它不是一个可以随时访问的文件。

这个文件应该被锁定,这甚至阻止了 Googlebot 访问它。 这很好。

正如 Mueller 解释的那样,阻止 PHP 是多余的:

“您还提到了 PHP.ini——这是 PHP 的配置文件。 一般来说,这个文件应该被锁定,或者在一个特殊的位置,这样没有人可以访问它。

如果没有人可以访问它,那么它也包括 Googlebot。 所以,再一次,没有必要禁止爬行。”

阻止 htaccess

与 PHP 一样,.htaccess 是一个锁定文件。 这意味着它不能被外部访问,即使是 Googlebot。

它不需要被禁止,因为它一开始就无法被抓取。

“最后,你提到了.htaccess。 这是一个特殊的控制文件,默认情况下不能被外部访问。 与其他锁定文件一样,您无需明确禁止其抓取,因为它根本无法访问。”

有关的: 设置 Meta Robots 标签和 Robots.txt 的最佳实践

穆勒的建议

穆勒用简短的几句话结束了视频,介绍了网站所有者应该如何创建 robots.txt 文件。

网站所有者在复制另一个网站的 robots.txt 文件并将其用作自己的文件时往往会遇到问题。

穆勒不建议这样做。 相反,批判性地考虑您不希望抓取您网站的哪些部分,并且只否认这些部分。

“我的建议是不要仅仅重复使用别人的 robots.txt 文件并假设它会起作用。 相反,请考虑您确实不想抓取网站的哪些部分,然后禁止抓取这些部分。”

相关文章:

给TA打赏
共{{data.count}}人
人已打赏
主题

Foholic - 一页餐厅 Figma 模板

2022-9-21 12:55:37

Google Ads 测试删除文字广告和本周的数字营销新闻 [PODCAST]

2020-9-5 0:00:34

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索