Datei „robots.txt.liquid“ bearbeiten

Suchmaschinen wie Google crawlen ständig das Internet auf der Suche nach neuen Daten als Quelle für ihre Suchergebnisse. Die Datei robots.txt teilt den Suchmaschinen-Bots (auch als Crawler bezeichnet) mit, welche Seiten sie in deinem Onlineshop zum Anzeigen anfordern sollen. Alle Shopify-Shops verfügen über eine standardmäßige robots.txt-Datei, die für die Suchmaschinenoptimierung (SEO) optimal ist.

Deine Sitemap wird von Suchmaschinen verwendet, um deinen Onlineshop in den Suchergebnissen zu platzieren. Erfahre, wie du deine Sitemap finden und einreichen kannst.

Auf dieser Seite

Unterschied zwischen Crawling und Indexierung

Bei der Arbeit mit robots.txt ist es wichtig, den Unterschied zwischen Crawling und Indexierung zu verstehen:

Crawling: Wenn Suchmaschinen-Bots (wie z. B. der Googlebot) alle Inhalte und den gesamten Code auf deinen Seiten untersuchen und analysieren.
Indexierung: Wenn Seiten für die Anzeige in den Suchergebnissen infrage kommen.

Diese Prozesse schließen sich nicht gegenseitig aus – Suchmaschinen können eine Seite auch indexieren, ohne sie zu crawlen, wenn sie sie auf andere Weise entdecken.

Überlegungen

Die standardmäßige robots.txt-Datei funktioniert für die meisten Shops. Wenn du die robots.txt-Datei anpassen möchtest, musst du zuerst im Code-Editor eine robots.txt.liquid-Datei zum Ordner templates deines Themes hinzufügen und dann den Inhalt der Datei anpassen. Du kannst die folgenden Änderungen vornehmen:

Crawling bestimmter URLs zulassen oder verbieten.
Crawl-Delay-Regeln für bestimmte Crawler hinzufügen.
Zusätzliche Sitemap-URLs hinzufügen.
Bestimmte Crawler blockieren.

Die Datei robots.txt befindet sich im Stammverzeichnis der primären Domain deines Shopify-Shops. Zum Beispiel: example.com/robots.txt.

robots.txt.liquid bearbeiten

Wenn du die Datei robots.txt.liquid bearbeiten möchtest, solltest du mit eine:m Shopify-Partner:in zusammenarbeiten oder über Fachkenntnisse in der Code-Bearbeitung und SEO verfügen.

Du kannst Liquid verwenden, um Anweisungen zur Vorlage robots.txt.liquid hinzuzufügen oder daraus zu entfernen. Diese Methode stellt sicher, dass Shopify die Datei auch in Zukunft automatisch aktualisieren kann, und wird daher empfohlen. Eine vollständige Anleitung zur Bearbeitung dieser Datei findest du auf der Entwicklerseite von Shopify unter robots.txt.liquid anpassen.

Entferne alle vorherigen Anpassungen oder Zwischenlösungen, wie z. B. die Nutzung eines Drittanbieter-Dienstes wie Cloudflare, bevor du die Datei robots.txt.liquid bearbeitest.

Schritte:

Gehe in deinem Shopify-Adminbereich zu Onlineshop > Themes.
Klicke für das betreffende Theme auf … > Code bearbeiten.
Klicke auf Neue Vorlage hinzufügen und wähle dann robots aus.
Klicke auf Vorlage erstellen.
Nimm die gewünschten Änderungen an der Standardvorlage vor. Weitere Informationen zu Liquid-Variablen und häufigen Anwendungsfällen findest du auf der Entwicklerseite von Shopify unter robots.txt.liquid anpassen.
Speichere die Änderungen an der Datei robots.txt.liquid in deinem veröffentlichten Theme.

Änderungen werden sofort wirksam, aber Crawler reagieren nicht immer sofort. Du kannst die Änderungen mit dem robots.txt-Tester von Google testen.

Du kannst auch den Inhalt der Vorlage löschen und ihn durch Regeln in einfachem Text ersetzen. Von dieser Methode wird dringend abgeraten, da die Regeln veralten können. Wenn du dich für diese Methode entscheidest, kann Shopify nicht sicherstellen, dass im Laufe der Zeit die SEO Best Practices auf deine robots.txt-Datei angewendet werden oder dass bei zukünftigen Aktualisierungen Änderungen an der Datei vorgenommen werden.

Meldungen vom Typ „Indiziert, aber blockiert“ verstehen

In der Google Search Console werden URLs möglicherweise als „indexed, though blocked by robots.txt“ angezeigt. Dies ist ein normales Verhalten und in der Regel kein Grund zur Sorge.

Warum das passiert

Viele Seiten werden für die SEO-Optimierung absichtlich durch die robots.txt-Datei blockiert. Mit dieser Nachricht teilt dir Google mit, dass blockierte Inhalte entdeckt wurden, für den Fall, dass die Blockierung unbeabsichtigt war. Alles in der standardmäßigen robots.txt-Datei von Shopify hat einen Grund und dient der Verbesserung deiner SEO.

Wenn eine normale Seite auf deiner Website (z. B. deine Startseite) als „Indexed, though blocked“ angezeigt wird, bedeutet dies in der Regel, dass die Daten von Google über deinen Shop veraltet sind. Es kann Tage, Wochen oder Monate dauern, bis Google seine Datenbank mit den neuesten Änderungen einer Website aktualisiert hat.

Was zu tun ist

In den meisten Fällen ist keine Maßnahme erforderlich. Dies ist ein erwartetes Verhalten für Seiten, die vom Crawling ausgeschlossen werden sollen, aber dennoch über andere Erkennungsmethoden indiziert werden könnten.

Zugriff für KI-Crawler steuern

Wenn du über agentenbasierte Storefronts wie ChatGPT oder Microsoft Copilot verkaufst, werden deine Produktdaten unabhängig von der /robots.txt-Datei über Shopify Catalog an diese Kanäle übertragen. KI-Crawler greifen möglicherweise auch direkt über das offene Web auf deinen Shop zu. Für den Crawler-Zugriff gibt es die folgenden zwei Steuerungsebenen:

Netzwerkebene: Das Bot-Management wird für Shops auf Shopify direkt verwaltet, sodass du nichts weiter tun musst. Shopify empfiehlt keine Proxy-Konfiguration vor Shopify und kann dafür auch keinen Support anbieten.
/robots.txt-Ebene: Du kannst bestimmte User-Agent-Crawler zulassen oder blockieren, indem du die robots.txt.liquid-Vorlage deines Shops anpasst. Die in deiner /robots.txt-Datei festgelegten Regeln dienen als Orientierung und Empfehlung. Es gibt keine Garantie dafür, dass alle Crawler diese befolgen.

Das Blockieren von KI-Crawlern in der /robots.txt oder auf Netzwerkebene wirkt sich nur auf die Auffindbarkeit im offenen Web aus. Es verhindert nicht, dass deine Produktdaten durch Shopify Catalog an die von dir aktivierten agentenbasierten Storefronts gesendet werden. Um zu steuern, was Shopify Catalog mit agentenbasierten Storefronts teilt, lies den Abschnitt Informationen zu den Einstellungen für agentenbasierte Storefronts.

Die standardmäßige robots.txt-Datei von Shopify verstehen

Die standardmäßige robots.txt-Datei von Shopify enthält spezielle Regeln zur Optimierung der SEO deines Shops. Im Folgenden wird die Funktion einiger wichtiger Einträge erläutert:

Disallow: /admin – Verhindert das Crawling von Admin-Seiten, da Bots ohnehin nicht darauf zugreifen können
Disallow: /cart – Warenkorbseiten müssen nicht indiziert werden, da sie für jede:n Kund:in einzigartig sind
Disallow: /checkout – Checkout-Seiten müssen nicht gecrawlt oder indiziert werden
Disallow: /collections/*+* – Verhindert die Indizierung von gefilterten Kollektionsseiten, was zu Problemen mit doppelten Inhalten führen könnte
Disallow: /search – Suchergebnisseiten müssen nicht gecrawlt werden
Disallow: /policies/ – Automatisch generierte Richtlinienseiten sind in allen Shops ähnlich und müssen nicht indiziert werden

Diese Regeln helfen Suchmaschinen, sich auf deine einzigartigen, wertvollen Inhalte zu konzentrieren, anstatt auf administrative oder doppelte Seiten.

Anpassungen an robots.txt.liquid löschen

Wenn du die standardmäßige robots.txt-Datei wieder verwenden möchtest, kannst du deine benutzerdefinierte robots.txt.liquid-Datei löschen.

Schritte:

Gehe in deinem Shopify-Adminbereich zu Onlineshop > Themes.
Klicke auf > Code bearbeiten.
Klicke mit der rechten Maustaste auf die Datei robots.txt.liquid und wähle im Dropdown-Menü die Option Endgültig löschen aus.
Klicke auf Löschen.

Du kannst die Datei robots.txt.liquid jederzeit in der Zukunft bearbeiten. Wenn du deine früheren Anpassungen gespeichert hast, kannst du deine Änderungen auch wiederherstellen, indem du deine gespeicherten früheren Anpassungen übernimmst.