Shopify 商店现在可以编辑他们的 robots.txt 文件，这让所有者可以更好地控制搜索引擎如何抓取他们的网站。
Shopify 首席执行官 Tobi Lutke 今晚在 Twitter 上发布了这一消息，同时补充说，这项功能可能要到周一才能向所有人推出。
所有 Shopify 商店都以相同的 robots.txt 开头，该公司称该文件适用于大多数网站，但现在可以通过 robots.txt.liquid 主题模板编辑该文件。
网站所有者可以对 robots.txt 文件进行以下编辑：
- 允许或禁止抓取某些 URL
- 为某些爬虫添加爬虫延迟规则
- 添加额外的站点地图 URL
- 阻止某些爬虫
Shopify 建议使用 Liquid 在 robots.txt.liquid 模板中添加或删除指令，因为它保留了自动更新文件的能力。
如何在 Shopify 中编辑 Robots.txt
以下是自定义 Shopify 商店的 robots.txt 文件的步骤：
- 从您的 Shopify 后台，转到 网上商店 > 主题.
- 点击 行动，然后单击 编辑代码.
- 点击 添加新模板，然后选择 机器人.
- 点击 创建模板.
- 对默认模板进行您要进行的更改。
- 在您发布的主题中保存对 robots.txt.liquid 文件的更改。
或者，网站所有者可以删除模板的内容并将其替换为纯文本规则，但 Shopify 不推荐它，因为它不会自动更新。
ThemeKit 或命令行更改将保留 robots.txt.liquid 文件。 从 Shopify 后台的主题部分上传主题不会导入 robots.txt.liquid。
Shopify 警告说，编辑 robots.txt.liquid 文件是不受支持的自定义，这意味着他们的支持团队无法帮助进行编辑。
“不正确使用该功能可能会导致所有流量丢失，”Shopify 警告说。 尽管任何站点的 robots.txt 文件都是如此。
有关的： Shopify SEO – 如何为 Google 优化您的 Shopify 网站
其他资源
以下是 Shopify 提供的一些资源，可能有助于编辑 robots.txt。
首先，这里是 robots.txt 液体模板 前面提到过。
Shopify 还提供了一个 robots.txt 定制教程.
SEO 对此次更新的宣布非常满意，称 Shopify 是时候提供编辑 robots.txt 的功能了。
该功能现已推出。 如前所述，如果您还没有访问权限，您可能会在星期一之前访问它。
用户代理：所有人
允许： /
从今天开始，您可以完全控制搜索引擎机器人如何查看您的商店。 #shopifyseo— 托比·卢特克 (@tobi) 2021 年 6 月 18 日
