Google 的John Mueller 说你的robots.txt 内容类型可以是任何东西。他说“任何内容类型都可以”，并补充说“重要的部分是内容本身”。
他还表示，他“看到html 页面在有效的html 页面中包含有效的机器人txt 行。”
如果您担心，请使用Google 的robots.txt 验证器对其进行测试。
哦，企鹅赛跑者问了这个问题：
Afaik 任何内容类型都可以。重要的部分是内容本身。我见过在有效的html 页面中包含有效的机器人txt 行的html 页面:)
— 🍌 约翰🍌 (@JohnMu) 2020 年6 月1 日
论坛讨论于 推特.
