Google 的 John Mueller 回答了有关使用 robots.txt 阻止特殊文件(包括 .css 和 .htacess)的问题。
这个话题在最新一期的 询问 Google 网站管理员 YouTube 上的视频系列。
这是提交的问题:
“关于 robots.txt,我应该’disallow: /*.css$’、’disallow: /php.ini’,还是’disallow: /.htaccess’?”
作为回应,穆勒说谷歌不能阻止网站所有者禁止这些文件。 虽然肯定不推荐。
“不。 我不能禁止您禁止这些文件。 但这听起来是个坏主意。 你提到了一些特殊情况,让我们来看看。”
在某些情况下,阻止特殊文件只是多余的,但在其他情况下,它可能会严重影响 Googlebot 抓取网站的能力。
这里解释了当每种类型的特殊文件被阻止时会发生什么。
有关的: 如何使用 Robots.txt 文件解决安全风险
阻止 CSS
抓取 CSS 绝对至关重要,因为它允许 Googlebot 正确呈现页面。
网站所有者可能觉得有必要阻止 CSS 文件,这样文件就不会被自己编入索引,但穆勒说这通常不会发生。
Google 无论如何都需要该文件,因此即使 CSS 文件最终被编入索引,它的危害也不会像阻止它那样大。
这是穆勒的回应:
“’*.css’ 将阻止所有 CSS 文件。 我们需要能够访问 CSS 文件,以便我们能够正确呈现您的页面。
例如,这很重要,以便我们可以识别页面何时适合移动设备。
CSS 文件通常不会自己被索引,但我们需要能够抓取它们。”
阻止 PHP
没有必要使用 robots.txt 来阻止 php.ini,因为它不是一个可以随时访问的文件。
这个文件应该被锁定,这甚至阻止了 Googlebot 访问它。 这很好。
正如 Mueller 解释的那样,阻止 PHP 是多余的:
“您还提到了 PHP.ini——这是 PHP 的配置文件。 一般来说,这个文件应该被锁定,或者在一个特殊的位置,这样没有人可以访问它。
如果没有人可以访问它,那么它也包括 Googlebot。 所以,再一次,没有必要禁止爬行。”
阻止 htaccess
与 PHP 一样,.htaccess 是一个锁定文件。 这意味着它不能被外部访问,即使是 Googlebot。
它不需要被禁止,因为它一开始就无法被抓取。
“最后,你提到了.htaccess。 这是一个特殊的控制文件,默认情况下不能被外部访问。 与其他锁定文件一样,您无需明确禁止其抓取,因为它根本无法访问。”
有关的: 设置 Meta Robots 标签和 Robots.txt 的最佳实践
穆勒的建议
穆勒用简短的几句话结束了视频,介绍了网站所有者应该如何创建 robots.txt 文件。
网站所有者在复制另一个网站的 robots.txt 文件并将其用作自己的文件时往往会遇到问题。
穆勒不建议这样做。 相反,批判性地考虑您不希望抓取您网站的哪些部分,并且只否认这些部分。
“我的建议是不要仅仅重复使用别人的 robots.txt 文件并假设它会起作用。 相反,请考虑您确实不想抓取网站的哪些部分,然后禁止抓取这些部分。”
相关文章:
window.addEventListener( 'load', function() { setTimeout(function(){ striggerEvent( 'load2' ); }, 2000); });
window.addEventListener( 'load2', function() {
if( sopp != 'yes' && addtl_consent != '1~' ){
!function(f,b,e,v,n,t,s) {if(f.fbq)return;n=f.fbq=function(){n.callMethod? n.callMethod.apply(n,arguments):n.queue.push(arguments)}; if(!f._fbq)f._fbq=n;n.push=n;n.loaded=!0;n.version='2.0'; n.queue=[];t=b.createElement(e);t.async=!0; t.src=v;s=b.getElementsByTagName(e)[0]; s.parentNode.insertBefore(t,s)}(window,document,'script', '
if( typeof sopp !== "undefined" && sopp === 'yes' ){ fbq('dataProcessingOptions', ['LDU'], 1, 1000); }else{ fbq('dataProcessingOptions', []); }
fbq('init', '1321385257908563');
fbq('track', 'PageView');
fbq('trackSingle', '1321385257908563', 'ViewContent', { content_name: 'blocking-special-files-in-robots-txt', content_category: 'news seo' }); } });