Redigering af robots.txt.liquid

Søgemaskiner, som f.eks. Google, gennemsøger hele tiden internettet i jagten på nye data som kilde til deres søgeresultater. Filen robots.txt fortæller søgemaskinebots, også kendt som crawlere, hvilke sider de skal anmode om at se fra din webshop. Alle Shopify-butikker har en standardfil af typen robots.txt, der er optimal til søgemaskineoptimering (SEO).

Din websiteoversigt bruges af søgemaskiner til at placere din webshop i søgemaskinens resultater. Få mere at vide om, hvordan du finder og sender din websiteoversigt.

På denne side

Forståelse af gennemsøgning vs. indeksering

Når du arbejder med robots.txt, er det vigtigt at forstå forskellen mellem gennemsøgning og indeksering:

Gennemsøgning: Når søgemaskinebots (f.eks. Googlebot) undersøger alt indhold og al kode på dine sider og analyserer det
Indeksering: Når sider bliver kvalificerede til at blive vist i søgemaskinernes resultater

Disse processer udelukker ikke hinanden – søgemaskiner kan indeksere en side uden at gennemsøge den, hvis de finder den på andre måder.

Overvejelser

Standardfilen robots.txt fungerer for de fleste butikker. Hvis du vil tilpasse filen robots.txt, skal du først føje en robots.txt.liquid-fil til mappen templates i dit tema i kodeeditoren og derefter tilpasse indholdet af filen. Du kan foretage følgende redigeringer:

Tillad eller afvis crawling af bestemte webadresser.
Tilføj regler for crawl-forsinkelse for bestemte crawlere.
Tilføj ekstra webadresser til websiteoversigten.
Bloker bestemte crawlere.

Filen robots.txt findes i rodmappen på din Shopify-butiks primære domæne. F.eks.: example.com/robots.txt.

Rediger robots.txt.liquid

Hvis du vil redigere filen robots.txt.liquid, bør du samarbejde med en Shopify-partner eller have ekspertise inden for koderedigering og SEO.

Du kan bruge Liquid til at tilføje eller fjerne direktiver fra skabelonen robots.txt.liquid. Denne metode bevarer Shopifys mulighed for at holde filen automatisk opdateret i fremtiden og anbefales. Du kan finde en komplet vejledning til redigering af denne fil på Shopifys udviklerside Tilpas robots.txt.liquid.

Fjern eventuelle tidligere tilpasninger eller løsninger, f.eks. brug af en tredjepartstjeneste som Cloudflare, før du redigerer filen robots.txt.liquid.

Trin:

Gå til Webshop > Temaer i din Shopify-administrator.
Klik på … > Rediger kode ud for det relevante tema.
Klik på Tilføj en ny skabelon, og vælg derefter robots.
Klik på Opret skabelon.
Foretag de ønskede ændringer i standardskabelonen. Du kan få mere at vide om Liquid-variabler og almindelige use cases på Shopifys udviklerside Tilpas robots.txt.liquid.
Gem ændringerne i filen robots.txt.liquid i dit udgivne tema.

Ændringerne træder i kraft med det samme, men crawlere reagerer ikke altid med det samme. Du kan teste ændringerne ved hjælp af Googles robots.txt-tester.

Du kan også slette indholdet i skabelonen og erstatte det med regler i almindelig tekst. Denne metode frarådes kraftigt, da reglerne kan blive forældede. Hvis du vælger denne metode, kan Shopify ikke garantere, at de bedste fremgangsmåder for SEO anvendes på din robots.txt over tid, eller foretage ændringer i filen i forbindelse med fremtidige opdateringer.

Forståelse af meddelelser af typen “Indekseret, men blokeret”

I Google Search Console vises webadresser muligvis som “indekseret, men blokeret af robots.txt”. Dette er normal adfærd og normalt ikke en grund til bekymring.

Derfor sker dette

Mange sider blokeres med vilje af robots.txt af hensyn til SEO-optimering. Meddelelsen er Googles måde at fortælle dig, at de har fundet blokeret indhold, i tilfælde af at blokeringen ikke var tilsigtet. Alt i Shopifys standardfil robots.txt er der af en grund, nemlig at hjælpe din SEO.

Hvis en normal side på dit website (f.eks. din startside) vises som “Indekseret, men blokeret”, betyder det normalt, at Googles data om din butik er forældede. Det kan tage Google dage, uger eller måneder at opdatere deres database med de seneste ændringer på et website.

Det skal du gøre

I de fleste tilfælde er det ikke nødvendigt at gøre noget. Dette er forventet adfærd for sider, der skal blokeres fra crawling, men som stadig kan blive indekseret via andre metoder til registrering.

Styring af adgang for AI-crawlere

Hvis du sælger via agentbaserede storefronts som f.eks. ChatGPT eller Microsoft Copilot, syndikeres dine produktdata til disse kanaler via Shopify Catalog uafhængigt af /robots.txt. AI-crawlere kan også få adgang til din butik direkte via det åbne internet. Adgang for crawlere kan styres på følgende to niveauer:

Netværkslag: Administration af bots håndteres direkte for butikker på Shopify, og du behøver ikke at foretage dig noget. Shopify anbefaler ikke en proxykonfiguration foran Shopify og kan heller ikke yde support til dette.
/robots.txt-niveau: Du kan tillade eller blokere specifikke brugeragent-crawlere ved at tilpasse din butiks robots.txt.liquid-skabelon. De regler, du angiver i din /robots.txt-fil, er vejledende, og det er ikke alle crawlere, der med garanti følger dem.

Blokering af AI-crawlere via /robots.txt eller på netværkslaget påvirker kun synligheden på det åbne web. Det forhindrer ikke Shopify Catalog i at sende dine produktdata til de agentiske storefronts, som du har aktiveret. Hvis du vil styre, hvad Shopify Catalog deler med agentiske storefronts, kan du se Forstå dine indstillinger for agentiske storefronts.

Forståelse af Shopifys standardfil robots.txt

Shopifys standardfil robots.txt indeholder specifikke regler til optimering af din butiks SEO. Her kan du se, hvad nogle af de vigtigste poster gør:

Disallow: /admin – Forhindrer, at administratorsider crawles, da bots alligevel ikke kan få adgang til dem
Disallow: /cart – Sider med indkøbskurv behøver ikke at blive indekseret, da de er unikke for hver enkelt kunde
Disallow: /checkout – Betalingssider behøver ikke at blive crawlet eller indekseret
Disallow: /collections/*+* – Forhindrer, at filtrerede kollektionssider indekseres, hvilket kan skabe problemer med duplikeret indhold
Disallow: /search – Søgeresultatsider behøver ikke at blive crawlet
Disallow: /policies/ – Automatisk genererede sider med politikker ligner hinanden på tværs af butikker og behøver ikke indeksering

Disse regler hjælper søgemaskiner med at fokusere på dit unikke, værdifulde indhold i stedet for administrative sider eller duplikerede sider.

Slet tilpasninger af robots.txt.liquid

Hvis du vil bruge standardfilen robots.txt igen, kan du slette din tilpassede fil robots.txt.liquid.

Trin:

Gå til Webshop > Temaer i din Shopify-administrator.
Klik på > Rediger kode.
Højreklik på robots.txt.liquid, og vælg Slet permanent i rullemenuen.
Klik på Slet.

Du kan altid redigere filen robots.txt.liquid igen på et senere tidspunkt. Hvis du har gemt dine tidligere tilpasninger, kan du lave dine ændringer igen ved at kopiere dem over.