Uređivanje datoteke robots.txt.liquid

Tražilice, poput Googlea, neprestano pretražuju i indeksiraju internet u potrazi za novim podacima koji služe kao izvor za rezultate pretraživanja. Datoteka robots.txt upućuje botove tražilice, poznate kao programi za pretraživanje i indeksiranje (crawlers), na to koje stranice iz vaše internetske trgovine trebaju zatražiti za pregled. Sve trgovine Shopify imaju zadanu datoteku robots.txt koja je optimalna za optimizaciju za tražilice (SEO).

Tražilice upotrebljavaju kartu mrežnog mjesta za postavljanje vaše internetske trgovine među rezultate pretraživanja. Saznajte kako pronaći i poslati kartu mrežnog mjesta.

Na ovoj stranici

Razumijevanje razlike između pretraživanja weba i indeksiranja

Pri radu s datotekom robots.txt važno je razumjeti razliku između pretraživanja (engl. crawling) i indeksiranja (engl. indexing):

Pretraživanje: kada botovi tražilice (poput Googlebota) pregledavaju i analiziraju sav sadržaj i kod na vašim stranicama
Indeksiranje: kada stranice ispunjavaju uvjete za prikazivanje u rezultatima tražilice

Ti procesi nisu međusobno isključivi – tražilice mogu indeksirati stranicu bez njezina pretraživanja ako je otkriju na druge načine.

Napomene

Zadana datoteka robots.txt funkcionira za većinu trgovina. Ako želite prilagoditi datoteku robots.txt, prvo morate dodati datoteku robots.txt.liquid u mapu templates svoje teme u uređivaču koda, a zatim prilagoditi sadržaj datoteke. Možete napraviti sljedeće izmjene:

Dopustiti ili onemogućiti pretraživanje i indeksiranje određenih URL-ova.
Dodati pravila odgode pretraživanja i indeksiranja (crawl-delay) za određene programe.
Dodati dodatne URL-ove karte mrežnog mjesta.
Blokirati određene programe za pretraživanje i indeksiranje.

Datoteka robots.txt nalazi se u korijenskom direktoriju naziva primarne domene vaše trgovine Shopify. Primjerice: example.com/robots.txt.

Uredite robots.txt.liquid

Ako želite urediti datoteku robots.txt.liquid, trebali biste surađivati sa stručnjakom iz programa Shopify Partner ili imati stručno znanje o izmjenama koda i SEO-u.

Možete upotrijebiti Liquid za dodavanje ili uklanjanje direktiva iz predloška robots.txt.liquid. Ta metoda čuva Shopifyjevu mogućnost automatskog ažuriranja datoteke u budućnosti i preporučuje se. Za potpuni vodič o uređivanju te datoteke pogledajte stranicu Shopify za razvojne programere Prilagodba datoteke robots.txt.liquid.

Uklonite sve prethodne prilagodbe ili zaobilazna rješenja, kao što je upotreba usluge treće strane poput Cloudflarea, prije nego što uredite datoteku robots.txt.liquid.

Koraci:

U administratorskom alatu za Shopify idite na Internetska trgovina > Teme.
Za relevantnu temu kliknite na … > Uredi kod.
Kliknite na Dodaj novi predložak, a zatim odaberite robots.
Kliknite na Izradi predložak.
Unesite željene izmjene u zadani predložak. Za više informacija o varijablama jezika Liquid i uobičajenim slučajevima upotrebe pogledajte stranicu Shopify za razvojne programere Prilagodba datoteke robots.txt.liquid.
Spremite promjene u datoteci robots.txt.liquid u objavljenoj temi.

Promjene su trenutne, ali programi za pretraživanje i indeksiranje ne reagiraju uvijek odmah. Promjene možete testirati s pomoću Googleova alata za testiranje datoteke robots.txt.

Također možete izbrisati sadržaj predloška i zamijeniti ga pravilima u obliku običnog teksta. Ta se metoda nipošto ne preporučuje jer pravila mogu zastarjeti. Ako odaberete tu metodu, Shopify ne može osigurati da se na vašu datoteku robots.txt s vremenom primijene najbolje prakse za SEO ni unositi izmjene u datoteku s pomoću budućih ažuriranja.

Razumijevanje poruka „Indeksirano, no blokirano”

U alatu Google Search Console URL-ovi se mogu prikazati kao „indeksirano, no blokirano datotekom robots.txt” (indexed, though blocked by robots.txt). To je uobičajeno ponašanje i obično nije razlog za zabrinutost.

Zašto se to događa

Mnoge su stranice namjerno blokirane u datoteci robots.txt radi optimizacije za tražilice (SEO). Tom vam porukom Google daje do znanja da je otkrio blokirani sadržaj u slučaju da je do blokiranja došlo nenamjerno. Sve što se nalazi u zadanoj datoteci robots.txt platforme Shopify tamo je s razlogom i služi poboljšanju vašeg SEO-a.

Ako je uobičajena stranica na vašem mrežnom mjestu (poput početne stranice) prikazana kao „Indeksirano, no blokirano”, to obično znači da su Googleovi podaci o vašoj trgovini zastarjeli. Googleu mogu biti potrebni dani, tjedni ili mjeseci da ažurira svoju bazu podataka najnovijim izmjenama na bilo kojem mrežnom mjestu.

Što učiniti

U većini slučajeva nije potrebno poduzeti nikakvu radnju. To je očekivano ponašanje za stranice koje bi trebale biti blokirane za pretraživanje weba, ali bi i dalje mogle biti indeksirane drugim metodama otkrivanja.

Kontroliranje pristupa AI puzavaca

Ako prodajete putem agentskih internetskih trgovina kao što su ChatGPT ili Microsoft Copilot, podaci o vašim proizvodima na te se kanale prenose putem usluge Shopify Catalog, neovisno o datoteci /robots.txt. AI puzavci također mogu izravno pristupiti trgovini putem otvorenog weba. Pristup puzavaca ima sljedeća dva sloja kontrole:

Mrežni sloj: Upravljanje botovima izravno se provodi za trgovine na platformi Shopify i ne morate ništa poduzimati. Shopify ne preporučuje konfiguraciju proxyja ispred platforme Shopify i ne može pružiti podršku za to.
Sloj /robots.txt: Možete dopustiti ili blokirati određene puzavce na temelju korisničkog agenta tako da prilagodite predložak robots.txt.liquid u trgovini. Pravila koja postavite u datoteci /robots.txt služe kao smjernice i savjeti te nema jamstva da će ih svi puzavci slijediti.

Blokiranje AI alata za indeksiranje na razini datoteke /robots.txt ili mrežnog sloja utječe samo na vidljivost na otvorenom webu. Time se ne sprečava da Shopify Catalog šalje podatke o proizvodima u agentske internetske trgovine koje ste aktivirali. Kako biste kontrolirali što Shopify Catalog dijeli s agentskim internetskim trgovinama, pogledajte Razumijevanje postavki agentskih internetskih trgovina.

Razumijevanje zadane datoteke robots.txt platforme Shopify

Zadana datoteka robots.txt platforme Shopify uključuje specifična pravila za optimizaciju SEO-a vaše trgovine. Evo što čine neki ključni unosi:

Disallow: /admin – sprječava pretraživanje i indeksiranje administratorskih stranica jer im botovi ionako ne mogu pristupiti
Disallow: /cart – stranice košarice ne moraju se indeksirati jer su jedinstvene za svakog korisnika
Disallow: /checkout – stranice plaćanja ne moraju se pretraživati ni indeksirati
Disallow: /collections/*+* – sprječava indeksiranje stranica filtriranih kolekcija, što bi moglo stvoriti probleme s dupliciranim sadržajem
Disallow: /search – stranice s rezultatima pretraživanja ne moraju se pretraživati i indeksirati
Disallow: /policies/ – automatski generirane stranice s pravilima slične su u raznim trgovinama i ne moraju se indeksirati

Ova pravila pomažu tražilicama da se usredotoče na vaš jedinstven, vrijedan sadržaj umjesto na administrativne ili duplicirane stranice.

Brisanje prilagodbi datoteke robots.txt.liquid

Ako ponovno želite upotrebljavati zadanu datoteku robots.txt, možete izbrisati svoju prilagođenu datoteku robots.txt.liquid.

Koraci:

U administratorskom alatu za Shopify idite na Internetska trgovina > Teme.
Kliknite > Uredi kod.
Desnom tipkom miša kliknite robots.txt.liquid i odaberite Trajno izbriši s padajućeg izbornika.
Kliknite Izbriši.

Datoteku robots.txt.liquid uvijek možete naknadno urediti, a ako ste spremili prošle prilagodbe, promjene možete ponoviti kopiranjem prethodno spremljenih prilagodbi.