Robots.txt.liquid bewerken

Zoekmachines, zoals Google, crawlen constant het internet op zoek naar nieuwe gegevens als bron voor hun zoekresultaten. Het bestand robots.txt vertelt bots van zoekmachines, ook wel crawlers genoemd, welke pagina's van je webshop ze moeten opvragen om te bekijken. Alle Shopify-winkels hebben een standaard robots.txt-bestand dat optimaal is voor zoekmachineoptimalisatie (SEO).

Je sitemap wordt door zoekmachines gebruikt om je webshop in de zoekresultaten te plaatsen. Lees hoe je je sitemap kunt vinden en indienen.

Op deze pagina

Het verschil tussen crawlen en indexeren

Wanneer je met robots.txt werkt, is het belangrijk het verschil te begrijpen tussen crawlen en indexeren:

Crawlen: Wanneer bots van zoekmachines (zoals Googlebot) alle content en code op je pagina's onderzoeken en analyseren
Indexeren: Wanneer pagina's in aanmerking komen om te worden weergegeven in de zoekresultaten van zoekmachines

Deze processen sluiten elkaar niet uit: zoekmachines kunnen een pagina indexeren zonder deze te crawlen als ze de pagina op een andere manier ontdekken.

Aandachtspunten

Het standaardbestand robots.txt werkt voor de meeste winkels. Als je het bestand robots.txt wilt aanpassen, moet je eerst een bestand robots.txt.liquid toevoegen aan de map templates van je thema in de code-editor en vervolgens de content van het bestand aanpassen. Je kunt de volgende bewerkingen uitvoeren:

Toestaan of blokkeren dat bepaalde URL's worden gecrawld.
Crawl-vertragingsregels toevoegen voor bepaalde crawlers.
Extra sitemap-URL's toevoegen.
Bepaalde crawlers blokkeren.

Het bestand robots.txt staat in de hoofdmap van de primaire domeinnaam van je Shopify-winkel. Bijvoorbeeld: example.com/robots.txt.

robots.txt.liquid bewerken

Als je het bestand robots.txt.liquid wilt bewerken, kun je het beste samenwerken met een Shopify-partner of moet je ervaring hebben met het bewerken van code en SEO.

Je kunt Liquid gebruiken om instructies toe te voegen aan of te verwijderen uit de template robots.txt.liquid. Met deze methode behoudt Shopify de mogelijkheid om het bestand in de toekomst automatisch bij te werken en dit wordt dan ook aanbevolen. Raadpleeg voor een volledige gids over het bewerken van dit bestand de Shopify Developer-pagina Customize robots.txt.liquid.

Verwijder alle eerdere aanpassingen of tijdelijke oplossingen, zoals het gebruik van een externe dienst als Cloudflare, voordat je het bestand robots.txt.liquid bewerkt.

Stappen:

Ga in het Shopify-beheercentrum naar Onlinewinkel > Thema's.
Klik bij het betreffende thema op … > Code bewerken.
Klik op Nieuwe template toevoegen en selecteer vervolgens robots.
Klik op Template aanmaken.
Breng de gewenste wijzigingen aan in de standaardtemplate. Raadpleeg voor meer informatie over Liquid-variabelen en veelvoorkomende gebruiksscenario's de Shopify Developer-pagina Customize robots.txt.liquid.
Sla de wijzigingen in het bestand robots.txt.liquid op in je gepubliceerde thema.

De wijzigingen zijn direct van kracht, maar crawlers reageren niet altijd onmiddellijk. Je kunt de wijzigingen testen met de robots.txt Tester van Google.

Je kunt ook de inhoud van de template verwijderen en vervangen door regels met tekst zonder opmaak. Deze methode wordt sterk afgeraden, omdat de regels verouderd kunnen raken. Als je voor deze methode kiest, kan Shopify niet garanderen dat de SEO-best practices na verloop van tijd worden toegepast op je robots.txt-bestand, of het bestand wijzigen bij toekomstige updates.

Uitleg over de melding ‘Indexed, though blocked’

In Google Search Console worden URL's soms weergegeven als ‘indexed, though blocked by robots.txt’. Dit is normaal gedrag en meestal geen reden tot bezorgdheid.

Waarom dit gebeurt

Veel pagina's worden voor SEO-optimalisatie opzettelijk geblokkeerd door robots.txt. Met dit bericht laat Google je weten dat het geblokkeerde content heeft ontdekt, voor het geval de blokkering onbedoeld was. Alles in het standaard robots.txt-bestand van Shopify heeft een reden en is bedoeld om je SEO te verbeteren.

Als een normale pagina op je site (zoals je homepage) wordt weergegeven als ‘Indexed, though blocked’, betekent dit meestal dat de gegevens van Google over je winkel verouderd zijn. Het kan dagen, weken of maanden duren voordat Google de database bijwerkt met de laatste wijzigingen van een website.

Wat je kunt doen

In de meeste gevallen hoef je niets te doen. Dit is het verwachte gedrag voor pagina's die niet moeten worden gecrawld, maar die mogelijk toch worden geïndexeerd via andere ontdekkingsmethoden.

Toegang voor AI-crawlers beheren

Als je verkoopt via agentic webshops zoals ChatGPT of Microsoft Copilot, worden je productgegevens naar die kanalen gesyndiceerd via Shopify Catalogus, onafhankelijk van /robots.txt. AI-crawlers kunnen ook rechtstreeks toegang krijgen tot je winkel via het open web. De toegang voor crawlers heeft de volgende twee controlelagen:

Netwerklaag: Botbeheer wordt rechtstreeks afgehandeld voor winkels op Shopify en je hoeft geen actie te ondernemen. Shopify raadt een proxyconfiguratie vóór Shopify af en kan hiervoor ook geen ondersteuning bieden.
/robots.txt-laag: je kunt specifieke crawlers op basis van hun gebruiker-agent toestaan of blokkeren door de robots.txt.liquid-template van je winkel aan te passen. De regels die je in je /robots.txt-bestand instelt zijn richtinggevend en adviserend, en het is niet gegarandeerd dat alle crawlers deze volgen.

Het blokkeren van AI-crawlers in de /robots.txt of op de netwerklaag heeft alleen invloed op de vindbaarheid op het open web. Het voorkomt niet dat je productgegevens door de Shopify Catalogus worden verzonden naar de agentic webshops die je hebt geactiveerd. Raadpleeg Instellingen voor agentic webshops begrijpen om te beheren wat de Shopify Catalogus deelt met agentic webshops.

Uitleg over het standaard robots.txt-bestand van Shopify

Het standaard robots.txt-bestand van Shopify bevat specifieke regels om de SEO van je winkel te optimaliseren. Hieronder wordt uitgelegd wat enkele belangrijke regels doen:

Disallow: /admin - Voorkomt dat beheerpagina's worden gecrawld, omdat bots er toch geen toegang toe hebben.
Disallow: /cart - Winkelwagenpagina's hoeven niet te worden geïndexeerd, omdat ze voor elke klant uniek zijn.
Disallow: /checkout - Checkoutpagina's hoeven niet te worden gecrawld of geïndexeerd.
Disallow: /collections/*+* - Voorkomt dat gefilterde collectiepagina's worden geïndexeerd, wat problemen met dubbele content kan veroorzaken.
Disallow: /search - Zoekresultatenpagina's hoeven niet te worden gecrawld.
Disallow: /policies/ - Automatisch gegenereerde beleidspagina's zijn in alle winkels vergelijkbaar en hoeven niet te worden geïndexeerd.

Deze regels helpen zoekmachines zich te richten op je unieke, waardevolle content in plaats van op administratieve of dubbele pagina's.

Aanpassingen aan robots.txt.liquid verwijderen

Als je het standaard robots.txt-bestand opnieuw wilt gebruiken, kun je je aangepaste bestand robots.txt.liquid verwijderen.

Stappen:

Ga in het Shopify-beheercentrum naar Onlinewinkel > Thema's.
Klik op > Code bewerken.
Klik met de rechtermuisknop op robots.txt.liquid en selecteer Permanent verwijderen in de vervolgkeuzelijst.
Klik op Verwijderen.

Je kunt het robots.txt.liquid-bestand in de toekomst altijd weer bewerken, of je kunt je wijzigingen opnieuw doorvoeren door je eerder opgeslagen aanpassingen te kopiëren.