說明
登入

編輯 robots.txt.liquid

搜尋引擎 (例如 Google) 會持續在網際網路上檢索新的資料，作為其搜尋結果的來源。robots.txt 檔案可通知搜尋引擎機器人 (也稱為爬蟲) 應向您的網路商店要求檢視哪些頁面。所有 Shopify 商店皆有預設的 robots.txt 檔案，已針對搜尋引擎最佳化 (SEO) 進行最佳設定。

搜尋引擎會使用您的網站地圖，將您的網路商店呈現在搜尋結果中。瞭解如何 find and submit your sitemap。

本頁內容

瞭解檢索與索引的差異

當您處理 robots.txt 時，瞭解 檢索 與 索引 的差異非常重要：

  • 檢索：搜尋引擎機器人 (例如 Googlebot) 會檢視您頁面上的所有內容與程式碼並加以分析
  • 索引：頁面符合可出現在搜尋引擎結果中的條件時

這兩者並非互斥；若搜尋引擎透過其他方式發現某頁面，即使未檢索該頁面，仍可能將其編入索引。

注意事項

預設的 robots.txt 檔案適用於大多數商店。若您想自訂 robots.txt 檔案，必須先在 the code editor 中，將 robots.txt.liquid 檔案新增至佈景主題的 templates 資料夾，然後自訂該檔案的內容。您可以進行下列編輯：

  • 允許或禁止抓取特定網址。
  • 為特定爬蟲程式新增 crawl-delay 規則。
  • 新增額外的網站地圖網址。
  • 封鎖特定爬蟲程式。

您的 robots.txt 檔案位於 Shopify 商店的 primary domain name 根目錄。例如：example.com/robots.txt。

編輯 robots.txt.liquid

若要編輯 robots.txt.liquid 檔案，建議與 Shopify 合作夥伴合作，或具備程式碼編修與搜尋引擎最佳化 (SEO) 的專業知識。

您可以使用 Liquid 在 robots.txt.liquid 範本中新增或移除指令。此方法可保留 Shopify 未來自動更新該檔案的能力，建議採用。完整編輯指南請參考 Shopify 的開發人員頁面 Customize robots.txt.liquid。

在編輯 robots.txt.liquid 檔案之前，請先移除任何先前的自訂或解決方法，例如使用 Cloudflare 等第三方服務。

步驟：

  1. 在 Shopify 管理介面，前往 線上商店 > Themes。

  2. 在相關佈景主題旁，按一下 … > 編輯程式碼。

  3. 按一下 新增範本，然後選取 robots。

  4. 按一下 建立範本。

  5. 在預設範本中進行您想要的變更。關於 Liquid 變數與常見使用情境的詳細資訊，請參考 Shopify 的開發人員頁面 Customize robots.txt.liquid。

  6. 將變更儲存在您已發布的佈景主題中的 robots.txt.liquid 檔案。

變更會立即生效，但爬蟲程式不一定會立即回應。您可以使用 Google's robots.txt Tester 測試變更。

您也可以刪除範本內容，改以純文字規則取代。強烈不建議使用此方法，因為規則可能會過時。若您選擇此法，Shopify 將無法隨時間確保在您的 robots.txt 上套用搜尋引擎最佳化 (SEO) 最佳做法，或在未來更新時修改該檔案。

瞭解「已編入索引，但遭封鎖」訊息

在 Google Search Console 中，網址可能會顯示為「已編入索引，但遭 robots.txt 封鎖」。這是正常現象，通常不必擔心。

為何會發生

為了搜尋引擎最佳化 (SEO)，許多頁面會在 robots.txt 中刻意封鎖。這則訊息是 Google 告知您他們已發現遭封鎖內容的方式，以免封鎖是出於非預期。Shopify 預設的 robots.txt 檔案內的每一條規則，都有其用途，能幫助您的 SEO。

如果您網站的一般頁面 (例如首頁) 顯示為「已編入索引，但遭封鎖」，通常代表 Google 關於您商店的資料已過時。Google 可能需要數天、數週或數個月，才會將任何網站的最新變更更新到其資料庫。

應對方式

多數情況下，無需採取任何動作。對於應封鎖抓取、但可能透過其他探索方式仍被編入索引的頁面，這是預期中的行為。

控制 AI 爬蟲存取權

如果您透過 ChatGPT 或 Microsoft Copilot 等代理式線上店面進行銷售，則系統會透過 Shopify Catalog 獨立於 /robots.txt 將您的商品資料發佈至這些管道。AI 爬蟲也可能會透過開放網路直接存取您的商店。爬蟲存取權有以下兩層控制：

  • 網路層：系統會直接處理 Shopify 商店的機器人管理作業，您無須採取任何動作。Shopify 不建議在 Shopify 之前設定 Proxy，也無法對此提供支援。
  • /robots.txt 層：您可以自訂商店的 robots.txt.liquid 範本來允許或封鎖特定使用者代理字串爬蟲。您在 /robots.txt 檔案中設定的規則是指導性且供參考用，不保證所有爬蟲都會遵循這些規則。

在 /robots.txt 或網路層封鎖 AI 爬蟲程式，僅會影響開放網路上的曝光率。這不會阻止 Shopify Catalog 將您的商品資料傳送至您啟用的代理程式線上店面。若要控制 Shopify Catalog 與代理程式線上店面分享的內容，請參閱「瞭解代理程式線上店面設定」。

瞭解 Shopify 預設的 robots.txt

Shopify 預設的 robots.txt 檔案包含特定規則，可最佳化您商店的搜尋引擎最佳化 (SEO)。以下是部分關鍵項目的作用：

  • Disallow: /admin - 阻擋管理頁面被抓取，因為爬蟲程式本來就無法存取。
  • Disallow: /cart - 購物車頁面不需要被編入索引，因為每位顧客的頁面都不相同。
  • Disallow: /checkout - 結帳頁面不需要被抓取或編入索引。
  • Disallow: /collections/*+* - 避免篩選後的商品系列頁面被編入索引，以免產生重複內容問題。
  • Disallow: /search - 搜尋結果頁面不需要被抓取。
  • Disallow: /policies/ - 自動產生的政策頁面在各商店之間相似度高，無須編入索引。

這些規則可協助搜尋引擎聚焦於您獨特且有價值的內容，而非管理或重複的頁面。

刪除 robots.txt.liquid 自訂設定

若要再次使用預設的 robots.txt 檔案，您可以刪除自訂的 robots.txt.liquid 檔案。

步驟：

  1. 在 Shopify 管理介面，前往 線上商店 > Themes。

  2. 按一下 Horizontal menu > 編輯程式碼。

  3. 在 robots.txt.liquid 上按一下右鍵，並從下拉式選單選取 永久刪除。

  4. 按一下 刪除。

日後您隨時都能再編輯 robots.txt.liquid 檔案；若您有儲存先前的自訂內容，也可複製貼上已儲存的自訂內容，重新套用您的變更。