Bing 宣布了增强的 Robots.txt 测试工具。 该工具满足了一项重要需求，因为错误的 robots.txt 可能会导致意外的 SEO 结果。 制作一个完美的 robots.txt 文件是必不可少的，也是 SEO 的重中之重。
robots.txt 文件是告诉搜索引擎爬虫在网站上做什么和不做什么的文件。 robots.txt 文件是发布商可以控制搜索引擎的少数几种方式之一。
Bing Robots.txt 测试工具截图
即使您不需要阻止搜索爬虫，拥有一个搜索爬虫仍然很重要，以免生成不必要的 404 错误日志符号。
Robots.txt 文件中的错误可能会导致搜索引擎抓取它们不应该编入索引的页面。
robots.txt 文件中的意外条目也可能导致网页不排名，因为它们被意外阻止。
robots.txt 文件中的错误是搜索排名问题的常见来源。 这就是为什么 Bing 的增强型 robots.txt 测试工具如此重要的原因
积极使用 Robots.txt 测试和诊断
发布商现在可以主动审查和测试他们的 Robots.txt 文件。
测试以查看搜索爬虫如何响应 robots.txt 并诊断可能的问题是可以帮助发布者的 SEO 的重要功能。
该工具还有助于搜索审计顾问帮助他们识别可能需要纠正的问题。
Bing 的新工具满足了一个重要的需求，正如 Bing 所述：
“虽然机器人排除协议能够通知网络机器人和爬虫程序不应处理或扫描网站的哪些部分，但越来越多的搜索引擎和参数迫使网站管理员在数百万个文件夹中搜索他们的 robots.txt 文件在他们的托管服务器上，在没有指导的情况下编辑它们，最后因为那个不需要的爬虫问题仍然存在而摸不着头脑。”
以下是 Bing robots.txt 工具为提供可操作信息而采取的操作：
- 分析 robots.txt
- 识别问题
- 指导发布者完成获取和上传过程。
- 检查允许/禁止语句
有关的： google seo 101：阻止 Robots.txt 中的特殊文件
根据必应：
“Robots.txt 测试器不仅可以帮助网站管理员分析他们的 robots.txt 文件，还可以突出显示阻止他们被 Bing 和其他机器人以最佳方式抓取的问题； 但是，它也一步一步地引导他们从获取最新文件到在适当的地址上传相同的文件。
网站管理员可以向 robots.txt 测试工具提交 URL，该工具的运行方式与 Bingbot 和 BingAdsBot 一样，可检查 robots.txt 文件并验证该 URL 是否已被相应地允许或阻止。”
robots.txt 测试工具的一个有用特性是它在编辑器中显示了四个版本的 robots.txt，分别对应于带和不带 WWW 前缀的安全和不安全版本，即
- http://
- https://
阅读官方公告：
