robots.txt.liquidを編集する

Googleなどの検索エンジンは、検索結果のソースとして新しいデータを求め、常にインターネットをクロールしています。robots.txtファイルは、クローラーと呼ばれる検索エンジンボットに対し、オンラインストアのどのページを表示するようリクエストするかを指示します。すべてのShopifyストアには、検索エンジン最適化 (SEO) に最適なデフォルトのrobots.txtファイルがあります。

サイトマップは、オンラインストアを検索エンジンの結果に表示するために検索エンジンによって使用されます。サイトマップを検索して送信する方法を確認してください。

このページの内容

クロールとインデックス登録について

robots.txtを使用する際は、クロールとインデックス登録の違いを理解することが重要です。

クロール：検索エンジンボット (Googlebotなど) が、ページのすべてのコンテンツとコードを調査して分析すること
インデックス登録：ページが検索エンジンの結果に表示される対象になること

これらのプロセスは相互に排他的なものではありません。検索エンジンは、他の手段でページを発見した場合、クロールせずにそのページをインデックスに登録することがあります。

考慮事項

デフォルトのrobots.txtファイルは、ほとんどのストアで有効に機能します。robots.txtファイルをカスタマイズする場合は、まずコードエディタで、テーマのtemplatesフォルダにrobots.txt.liquidファイルを追加してから、そのファイルの内容をカスタマイズする必要があります。以下のような編集が可能です。

特定のURLのクロールを許可または不許可にする。
特定のクローラーに対してクロール遅延ルールを追加する。
追加のサイトマップURLを追加する。
特定のクローラーをブロックする。

robots.txt ファイルは、Shopify ストアのプライマリードメインのルートディレクトリにあります。例: example.com/robots.txt。

robots.txt.liquidを編集する

robots.txt.liquid ファイルを編集する場合は、Shopify パートナーと協力するか、コードの編集や SEO に関する専門知識が必要です。

Liquid を使用して、robots.txt.liquid テンプレートからディレクティブを追加または削除できます。この方法では、Shopify が今後もファイルを自動的に更新する機能が維持されるため、推奨されています。このファイルの編集に関する詳しいガイドについては、Shopify の開発者ページ Customize robots.txt.liquid を参照してください。

robots.txt.liquid ファイルを編集する前に、Cloudflare などの外部サービスの利用といった、以前のカスタマイズや回避策をすべて削除してください。

手順：

管理画面から、[オンラインストア] > [テーマ] に移動します。
該当するテーマで、[…] > [コードを編集] をクリックします。
[新しいテンプレートを追加する] をクリックし、[robots] を選択します。
[テンプレートを作成] をクリックします。
デフォルトのテンプレートに必要な変更を加えます。Liquid の変数と一般的な使用例に関する詳細については、Shopify の開発者ページ「robots.txt.liquidをカスタマイズする」を参照してください。
公開済みのテーマで、robots.txt.liquid ファイルへの変更を保存します。

変更はすぐに反映されますが、クローラーがすぐに反応するとは限りません。Google の robots.txt テスターを使用して変更をテストできます。

また、テンプレートのコンテンツを削除し、プレーンテキストのルールに置き換えることもできます。ルールが古くなる可能性があるため、この方法はまったく推奨されません。この方法を選択した場合、Shopify は、時間の経過とともに SEO のベストプラクティスが robots.txt に適用されることや、将来の更新でファイルが変更されることを保証できません。

「インデックス登録済み、robots.txt によりブロック」のメッセージについて

Google Search Console では、URL が「インデックス登録済み、robots.txt によりブロック」と表示されることがあります。これは通常の動作であり、通常は懸念の原因にはなりません。

この現象が発生する理由

多くのページは、SEO 最適化のために robots.txt によって意図的にブロックされています。このメッセージは、ブロックが意図しないものであった場合に備えて、ブロックされたコンテンツが発見されたことを Google が通知する方法です。Shopify のデフォルトの robots.txt ファイルにあるすべての項目は、SEO 対策に役立つという理由で存在しています。

サイトの通常のページ (ホームページなど) が「インデックス登録済み、robots.txt によりブロック」と表示される場合、通常はストアに関する Google のデータが古いことを意味します。Google がデータベースをウェブサイトの最新の変更で更新するには、数日から数週間、あるいは数カ月かかる場合があります。

対処方法

ほとんどの場合、何もする必要はありません。これは、クロールからブロックされるべきページが、他の検出方法によってインデックスに登録される可能性がある場合に予想される動作です。

AI クローラーのアクセスを制御する

ChatGPT や Microsoft Copilot などのエージェンティックなストアフロントを通じて販売している場合、商品データは /robots.txt とは無関係に、Shopify Catalog を通じてこれらのチャネルにシンジケートされます。また、AI クローラーはオープンウェブを通じてストアに直接アクセスする場合があります。クローラーのアクセスには、以下の 2 つの制御レイヤーがあります。

ネットワーク層: Shopify 上のストアではボット管理が直接処理されるため、特別な対応は不要です。また、Shopify では Shopify の手前にプロキシを設定することを推奨しておらず、これに関するサポートも提供できません。
/robots.txt レイヤー: ストアの robots.txt.liquid テンプレートをカスタマイズすることで、特定のユーザーエージェントクローラーを許可またはブロックできます。/robots.txt ファイルで設定したルールは指針や推奨を示すものであり、すべてのクローラーがそれに従うとは限りません。

/robots.txt またはネットワーク層で AI クローラーをブロックしても、影響を受けるのはオープンウェブでの見つけやすさのみです。有効化しているエージェンティックストアフロントに対し、Shopify Catalog から商品データが送信されるのを防ぐことはできません。Shopify Catalog がエージェンティックストアフロントと共有する内容を管理するには、エージェンティックストアフロントの設定についてを参照してください。

Shopifyのデフォルトのrobots.txtについて

Shopify のデフォルトの robots.txt ファイルには、ストアの SEO を最適化するための特定のルールが含まれています。主要なエントリの機能は次のとおりです。

Disallow: /admin - ボットはどのみち管理ページにアクセスできないため、クロールされないようにします
Disallow: /cart - カートページは個々のお客様に固有のものであるため、インデックス登録する必要はありません
Disallow: /checkout - チェックアウトページは、クロールまたはインデックス登録する必要はありません
Disallow: /collections/*+* - 絞り込まれたコレクションページがインデックス登録されるのを防ぎ、重複コンテンツの問題が発生するのを回避します
Disallow: /search - 検索結果ページはクロールする必要はありません
Disallow: /policies/ - 自動生成されるポリシーページはストア間で類似しており、インデックス登録する必要はありません

これらのルールは、検索エンジンが、管理ページや重複ページではなく、ストア独自の価値あるコンテンツに集中するのに役立ちます。

robots.txt.liquidのカスタマイズを削除する

デフォルトの robots.txt ファイルを再度使用する場合は、カスタムの robots.txt.liquid ファイルを削除できます。

手順：

管理画面から、[オンラインストア] > [テーマ] に移動します。
> [コードを編集] をクリックします。
robots.txt.liquid を右クリックし、ドロップダウンメニューから [完全に削除] を選択します。
[削除] をクリックします。

今後いつでも robots.txt.liquid ファイルを編集できます。また、過去のカスタマイズを保存している場合は、保存した以前のカスタマイズをコピーして変更をやり直すこともできます。