Redigere robots.txt.liquid

Søkemotorer, som Google, gjennomsøker stadig internett på jakt etter nye data som kilde for søkeresultatene sine. robots.txt-filen forteller søkemotorroboter, kjent som «crawlere», hvilke sider de skal be om å se fra nettbutikken din. Alle Shopify-butikker har en standard robots.txt-fil som er optimal for søkemotoroptimalisering (SEO).

Områdekartet ditt brukes av søkemotorer for å plassere nettbutikken din i søkemotorresultatene. Finn ut hvordan du kan finne og sende inn områdekartet ditt.

På denne siden

Forstå forskjellen på gjennomsøking og indeksering

Når du arbeider med robots.txt, er det viktig å forstå forskjellen mellom gjennomsøking og indeksering:

Gjennomsøking: Når søkemotorroboter (som Googlebot) undersøker alt innhold og all kode på sidene dine og analyserer det
Indeksering: Når sider blir kvalifisert til å vises i søkemotorresultater

Disse prosessene er ikke gjensidig utelukkende – søkemotorer kan indeksere en side uten å gjennomsøke den hvis de oppdager den på andre måter.

Viktig å tenke på

Standardfilen robots.txt fungerer for de fleste butikker. Hvis du vil tilpasse robots.txt-filen, må du først legge til en robots.txt.liquid-fil i templates-mappen i temaet ditt i koderedigeringsprogrammet, og deretter tilpasse innholdet i filen. Du kan gjøre følgende endringer:

Tillat eller nekt gjennomsøking av bestemte URL-adresser.
Legg til regler for forsinket gjennomsøking for bestemte indekseringsroboter.
Legg til ekstra URL-adresser for områdekart.
Blokker bestemte indekseringsroboter.

robots.txt-filen ligger i rotkatalogen på Shopify-butikkens primære domenenavn. For eksempel: example.com/robots.txt.

Rediger robots.txt.liquid

Hvis du vil redigere robots.txt.liquid-filen, bør du samarbeide med en Shopify-partner eller ha ekspertise innen koderedigering og SEO.

Du kan bruke Liquid til å legge til eller fjerne direktiver fra robots.txt.liquid-malen. Denne metoden bevarer Shopifys mulighet til å holde filen automatisk oppdatert i fremtiden, og er anbefalt. Du finner en fullstendig veiledning for redigering av denne filen på Shopifys utviklerside Customize robots.txt.liquid.

Fjern alle tidligere tilpasninger eller midlertidige løsninger, som bruk av en tredjepartstjeneste som Cloudflare, før du redigerer robots.txt.liquid-filen.

Trinn:

Fra Shopify-administratorpanelet går du til Nettbutikk > Temaer.
For det aktuelle temaet klikker du på … > Rediger kode.
Klikk på Legg til ny mal, og velg deretter robots.
Klikk på Opprett mal.
Gjør endringene du ønsker i standardmalen. Hvis du vil ha mer informasjon om Liquid-variabler og vanlige bruksområder, kan du se Shopifys utviklerside Customize robots.txt.liquid.
Lagre endringer i robots.txt.liquid-filen i det publiserte temaet.

Endringene er umiddelbare, men indekseringsroboter reagerer ikke alltid med en gang. Du kan teste endringene med Googles robots.txt-tester.

Du kan også slette innholdet i malen og erstatte det med regler i enkel tekst. Denne metoden er sterkt frarådet, ettersom reglene kan bli utdaterte. Hvis du velger denne metoden kan ikke Shopify sikre at beste praksis for SEO brukes på robots.txt-filen over tid, eller gjøre endringer i filen med fremtidige oppdateringer.

Forstå meldinger av typen «Indexed, though blocked»

I Google Search Console kan URL-adresser vises som «indexed, though blocked by robots.txt». Dette er normalt og vanligvis ingen grunn til bekymring.

Hvorfor dette skjer

Mange sider er bevisst blokkert av robots.txt for SEO-optimalisering. Denne meldingen er Googles måte å fortelle deg at de har oppdaget blokkert innhold, i tilfelle blokkeringen var utilsiktet. Alt i Shopifys standard robots.txt-fil er der av en grunn, for å hjelpe med SEO.

Hvis en vanlig side på nettstedet ditt (for eksempel hjemmesiden) vises som «Indexed, though blocked», betyr det vanligvis at Googles data om butikken din er utdatert. Det kan ta dager, uker eller måneder før Google oppdaterer databasen sin med de siste endringene på et nettsted.

Hva du kan gjøre

I de fleste tilfeller er det ikke nødvendig å gjøre noe. Dette er forventet atferd for sider som skal blokkeres for gjennomsøking, men som likevel kan bli indeksert gjennom andre oppdagelsesmetoder.

Kontrollere tilgang for AI-crawlere

Hvis du selger gjennom agentbaserte utstillingsvinduer som ChatGPT eller Microsoft Copilot, syndikeres produktdataene dine til disse kanalene gjennom Shopify Catalog, uavhengig av /robots.txt. AI-crawlere kan også få tilgang til butikken din direkte via det åpne nettet. Tilgang for crawlere har følgende to lag med kontroll:

Nettverkslag: Håndtering av boter skjer direkte for butikker på Shopify, og du trenger ikke foreta deg noe. Shopify anbefaler ikke en proxy-konfigurasjon foran Shopify, og kan heller ikke tilby støtte for dette.
/robots.txt-lag: Du kan tillate eller blokkere spesifikke brukeragent-crawlere ved å tilpasse butikkens robots.txt.liquid-mal. Reglene du angir i /robots.txt-filen er veiledende og rådgivende, og det er ikke garantert at alle crawlere følger dem.

Blokkering av crawlere for kunstig intelligens i /robots.txt eller på nettverkslaget påvirker bare synligheten på det åpne nettet. Det forhindrer ikke at produktdataene dine blir sendt av Shopify Catalog til de agentiske utstillingsvinduene du har aktivert. For å kontrollere hva Shopify Catalog deler med agentiske utstillingsvinduer, kan du se Forstå innstillingene for agentiske utstillingsvinduer.

Forstå Shopifys standard robots.txt

Shopifys standard robots.txt-fil inneholder bestemte regler for å optimalisere butikkens SEO. Her er hva noen av nøkkeloppføringene gjør:

Disallow: /admin – Hindrer at administratorsider blir gjennomsøkt, fordi roboter uansett ikke har tilgang til dem.
Disallow: /cart – Handlekurvsider trenger ikke å bli indeksert fordi de er unike for hver kunde.
Disallow: /checkout – Betalingssider trenger ikke å bli gjennomsøkt eller indeksert.
Disallow: /collections/*+* – Hindrer at filtrerte samlingssider indekseres, noe som kan skape problemer med duplisert innhold.
Disallow: /search – Søkeresultatsider trenger ikke å bli gjennomsøkt.
Disallow: /policies/ – Automatisk genererte retningslinjesider er like på tvers av butikker og trenger ikke indeksering.

Disse reglene hjelper søkemotorer med å fokusere på det unike og verdifulle innholdet ditt, i stedet for administrative sider eller duplikatsider.

Slett tilpasninger i robots.txt.liquid

Hvis du vil bruke standardfilen robots.txt igjen, kan du slette den egendefinerte robots.txt.liquid-filen.

Trinn:

Fra Shopify-administratorpanelet går du til Nettbutikk > Temaer.
Klikk på > Rediger kode.
Høyreklikk på robots.txt.liquid, og velg Slett permanent fra rullegardinmenyen.
Klikk på Slett.

Du kan alltid redigere robots.txt.liquid-filen i fremtiden. Hvis du har lagret tidligere tilpasninger, kan du gjøre endringene på nytt ved å kopiere over de lagrede tilpasningene.