编辑 robots.txt.liquid

Google 等搜索引擎会持续抓取互联网以搜索新数据，作为其搜索结果的来源。robots.txt 文件会告知搜索引擎机器人（称为抓取工具）从您的在线商店请求查看哪些页面。所有 Shopify 商店都有一个默认的 robots.txt 文件，该文件已针对搜索引擎优化 (SEO) 进行了优化。

搜索引擎使用您的站点地图将您的在线商店置于搜索结果中。了解如何查找并提交您的站点地图。

在此页面上

了解抓取与索引

在使用 robots.txt 时，请务必了解抓取和索引之间的区别：

抓取：搜索引擎机器人（例如 Googlebot）检查您页面上的所有内容和代码并对其进行分析
索引：当页面有资格显示在搜索引擎结果中时

这些流程并非相互排斥 — 如果搜索引擎通过其他方式发现页面，它们无需抓取页面即可将其编入索引。

注意事项

默认的 robots.txt 文件适用于大多数商店。如果要自定义 robots.txt 文件，则必须先在代码编辑器中将 robots.txt.liquid 文件添加到模板的 templates 文件夹中，然后自定义文件的内容。您可以进行以下编辑：

允许或禁止抓取某些 URL。
为某些抓取工具添加抓取延迟规则。
添加额外的站点地图 URL。
阻止某些抓取工具。

robots.txt 文件位于您 Shopify 商店的主域名的根目录中。例如：example.com/robots.txt。

编辑 robots.txt.liquid

如果您想编辑 robots.txt.liquid 文件，则应与 Shopify 合作伙伴合作，或具备代码编辑和 SEO 方面的专业知识。

您可以使用 Liquid 在 robots.txt.liquid 模板中添加或删除指令。此方法可保留 Shopify 在将来自动更新该文件的能力，因此建议使用此方法。有关编辑此文件的完整指南，请参阅 Shopify 的开发者页面自定义 robots.txt.liquid。

在编辑 robots.txt.liquid 文件之前，请删除任何之前的自定义内容或权宜方案，例如使用 Cloudflare 等第三方服务。

步骤：

在您的 Shopify 后台中，转至 Online Store > 模板。
对于相关模板，点击 … > 编辑代码。
点击添加新模板，然后选择 robots。
点击创建模板。
对默认模板进行您想要做的更改。有关 liquid 变量和常见用例的更多信息，请参阅 Shopify 的开发者页面自定义 robots.txt.liquid。
将更改保存到您已发布的模板中的 robots.txt.liquid 文件。

更改会立即生效，但抓取工具并不总能立即做出反应。您可以使用Google 的 robots.txt 测试工具测试更改。

您还可以删除模板的内容，并将其替换为纯文本规则。强烈建议不要使用此方法，因为规则可能会过时。如果您选择此方法，那么 Shopify 将无法确保随着时间的推移将 SEO 最佳做法应用于您的 robots.txt，也无法通过未来的更新对文件进行更改。

了解“已编入索引，但被阻止”消息

在 Google Search Console 中，URL 可能会显示为“indexed, though blocked by robots.txt”（已编入索引，但被 robots.txt 阻止）。这是正常行为，通常无需担心。

发生这种情况的原因

为了进行 SEO 优化，许多页面会被 robots.txt 有意阻止。此消息是 Google 用来通知您他们发现了被阻止的内容，以防这种阻止是无意的。Shopify 默认的 robots.txt 文件中的所有内容都旨在帮助您进行 SEO。

如果您网站上的某个正常页面（例如您的主页）显示为“Indexed, though blocked”（已编入索引，但被阻止），这通常表示 Google 有关您商店的数据已过时。Google 可能需要几天、几周或几个月的时间才能根据任何网站的最新更改来更新其数据库。

应对措施

在大多数情况下，您无需执行任何操作。对于应阻止抓取但仍可能通过其他发现方法被编入索引的页面，这是预期行为。

控制 AI 爬虫的访问权限

如果您通过 ChatGPT 或 Microsoft Copilot 等智能体在线店面进行销售，您的产品数据会通过 Shopify Catalog 同步至这些渠道，且独立于 /robots.txt。AI 爬虫也可能通过开放式网络直接访问您的商店。系统对爬虫的访问权限在以下两个层级进行控制：

网络层：对于 Shopify 上的商店，系统会直接处理机器人管理事宜，您无需采取任何行动。Shopify 不建议在 Shopify 前端进行代理配置，也无法对此提供支持。
/robots.txt 层：您可以通过自定义商店的 robots.txt.liquid 模板，允许或屏蔽特定的用户代理爬虫。在 /robots.txt 文件中设置的规则具有指导性和建议性，无法保证所有爬虫都会遵守这些规则。

在 /robots.txt 或网络层拦截 AI 爬虫仅会影响开放网络的可发现性。这不会阻止 Shopify Catalog 将您的产品数据发送至您已激活的代理在线店面。若要控制 Shopify Catalog 与代理在线店面共享的内容，请参阅了解您的代理在线店面设置。

了解 Shopify 的默认 robots.txt

Shopify 的默认 robots.txt 文件包含用于优化商店 SEO 的特定规则。以下是一些关键条目的作用：

Disallow: /admin - 阻止抓取后台页面，因为机器人无论如何都无法访问它们
Disallow: /cart - 无需为购物车页面编入索引，因为它们对每位客户来说都是唯一的
Disallow: /checkout - 无需抓取结账页面或为其编入索引
Disallow: /collections/*+* - 阻止为经过筛选的产品系列页面编入索引，因为这可能会造成重复内容问题
Disallow: /search - 无需抓取搜索结果页面
Disallow: /policies/ - 自动生成的政策页面在各个商店之间是相似的，因此无需编入索引

这些规则可帮助搜索引擎专注于您独特、有价值的内容，而不是管理页面或重复页面。

删除 robots.txt.liquid 自定义内容

如果您想再次使用默认的 robots.txt 文件，则可以删除您的自定义 robots.txt.liquid 文件。

步骤：

在您的 Shopify 后台中，转至 Online Store > 模板。
点击 > 编辑代码。
右键点击 robots.txt.liquid，然后从下拉菜单中选择永久删除。
点击删除。

您随时都可以在将来编辑 robots.txt.liquid 文件；或者，如果您已保存过去的自定义内容，则可以通过复制已保存的先前自定义内容来重做您的更改。