Modifica di robots.txt.liquid

I motori di ricerca, come Google, scansionano costantemente internet alla ricerca di nuovi dati da usare come fonte per i risultati di ricerca. Il file robots.txt indica ai bot dei motori di ricerca, noti come crawler, quali pagine del tuo negozio online richiedere per la visualizzazione. Tutti i negozi Shopify hanno un file robots.txt predefinito, ottimale per l'ottimizzazione per i motori di ricerca (SEO).

La mappa del sito viene utilizzata dai motori di ricerca per inserire il negozio online nei risultati di ricerca. Scopri come trovare e inviare la mappa del sito.

In questa pagina

Comprendere la differenza tra scansione e indicizzazione

Quando lavori con il file robots.txt, è importante comprendere la differenza tra scansione e indicizzazione:

Scansione: quando i bot dei motori di ricerca (come Googlebot) esaminano e analizzano tutti i contenuti e il codice delle tue pagine
Indicizzazione: quando le pagine diventano idonee a essere visualizzate nei risultati dei motori di ricerca

Questi processi non si escludono a vicenda: i motori di ricerca possono indicizzare una pagina senza scansionarla, se la scoprono con altri mezzi.

Considerazioni

Il file robots.txt predefinito funziona per la maggior parte dei negozi. Se desideri personalizzare il file robots.txt, devi prima aggiungere un file robots.txt.liquid alla cartella templates del tuo tema nell'editor di codice, quindi personalizzare il contenuto del file. Puoi apportare le seguenti modifiche:

Consenti o impedisci la scansione di determinati URL.
Aggiungi regole di crawl-delay per crawler specifici.
Aggiungi URL di mappe del sito supplementari.
Blocca crawler specifici.

Il file robots.txt si trova nella directory principale del dominio primario del tuo negozio Shopify. Ad esempio: example.com/robots.txt.

Modifica di robots.txt.liquid

Se desideri modificare il file robots.txt.liquid, dovresti collaborare con un Partner di Shopify o avere esperienza nelle modifiche al codice e nella SEO.

Puoi utilizzare Liquid per aggiungere o rimuovere direttive dal modello robots.txt.liquid. Questo metodo preserva la capacità di Shopify di mantenere il file aggiornato automaticamente in futuro ed è consigliato. Per una guida completa alla modifica di questo file, consulta la pagina per sviluppatori di Shopify Customize robots.txt.liquid.

Prima di modificare il file robots.txt.liquid, rimuovi eventuali personalizzazioni o soluzioni alternative precedenti, come l'utilizzo di un servizio di terze parti come Cloudflare.

Passaggi:

Dal pannello di controllo Shopify, vai a Negozio online > Temi.
Per il tema pertinente, clicca su … > Modifica codice.
Clicca su Aggiungi un nuovo modello, quindi seleziona robots.
Clicca su Crea modello.
Apporta le modifiche desiderate al modello predefinito. Per maggiori informazioni sulle variabili Liquid e sui casi d'uso comuni, consulta la pagina per sviluppatori di Shopify Customize robots.txt.liquid.
Salva le modifiche al file robots.txt.liquid nel tuo tema pubblicato.

Le modifiche sono istantanee, ma i crawler non sempre reagiscono immediatamente. Puoi testare le modifiche utilizzando il robots.txt Tester di Google.

Puoi anche eliminare i contenuti del modello e sostituirli con regole di testo normale. Questo metodo è vivamente sconsigliato, poiché le regole potrebbero diventare obsolete. Se scegli questo metodo, Shopify non può garantire che le best practice SEO vengano applicate al tuo file robots.txt nel tempo, né apportare modifiche al file con aggiornamenti futuri.

Informazioni sui messaggi “Indicizzato, anche se bloccato”

In Google Search Console, gli URL potrebbero essere visualizzati come “indicizzati, anche se bloccati da robots.txt”. Si tratta di un comportamento normale e di solito non è un motivo di preoccupazione.

Perché succede

Molte pagine vengono bloccate intenzionalmente da robots.txt per l’ottimizzazione SEO. Questo messaggio è il modo in cui Google ti informa di aver scoperto contenuti bloccati, nel caso in cui il blocco non fosse intenzionale. Tutto ciò che è presente nel file robots.txt predefinito di Shopify è lì per un motivo, ovvero per aiutare la tua SEO.

Se una pagina normale del tuo sito (come la homepage) viene visualizzata come “Indicizzata, anche se bloccata”, di solito significa che i dati di Google sul tuo negozio non sono aggiornati. Google può impiegare giorni, settimane o mesi per aggiornare il suo database con le ultime modifiche a qualsiasi sito web.

Cosa fare

Nella maggior parte dei casi, non è necessario alcun intervento. Si tratta di un comportamento previsto per le pagine di cui dovrebbe essere impedita la scansione ma che potrebbero comunque essere indicizzate tramite altri metodi di individuazione.

Controllo dell’accesso dei crawler IA

Se vendi tramite vetrine virtuali basate su agenti come ChatGPT o Microsoft Copilot, i dati dei tuoi prodotti vengono distribuiti a questi canali tramite Shopify Catalog, indipendentemente dal file /robots.txt. I crawler IA potrebbero anche accedere al negozio direttamente tramite il web aperto. L’accesso dei crawler prevede i due livelli di controllo seguenti:

Livello di rete: la gestione dei bot avviene direttamente per i negozi su Shopify e non è richiesto alcun intervento da parte tua. Shopify sconsiglia una configurazione proxy a monte di Shopify e non può fornire assistenza al riguardo.
Livello /robots.txt: puoi consentire o bloccare crawler di specifici user-agent personalizzando il modello robots.txt.liquid del negozio. Le regole impostate nel file /robots.txt sono direzionali e consultive e non c’è garanzia che tutti i crawler le rispettino.

Il blocco dei crawler IA a livello di /robots.txt o di rete influisce solo sull’individuabilità nell’open web. Non impedisce l’invio dei dati dei tuoi prodotti da parte di Shopify Catalog alle vetrine virtuali basate su agenti che hai attivato. Per controllare ciò che Shopify Catalog condivide con le vetrine virtuali basate su agenti, consulta Comprendere le impostazioni delle vetrine virtuali basate su agenti.

Informazioni sul file robots.txt predefinito di Shopify

Il file robots.txt predefinito di Shopify include regole specifiche per ottimizzare la SEO del tuo negozio. Ecco la funzione di alcune voci chiave:

Disallow: /admin: impedisce la scansione delle pagine del pannello di controllo, poiché i bot non possono comunque accedervi.
Disallow: /cart: le pagine del carrello non devono essere indicizzate perché sono uniche per ogni cliente.
Disallow: /checkout: le pagine di check-out non devono essere sottoposte a scansione o indicizzate.
Disallow: /collections/*+*: impedisce l'indicizzazione delle pagine di collezione filtrate, il che potrebbe creare problemi di contenuti duplicati.
Disallow: /search: le pagine dei risultati di ricerca non devono essere sottoposte a scansione.
Disallow: /policies/: le pagine delle informative generate automaticamente sono simili tra i vari negozi e non necessitano di indicizzazione.

Queste regole aiutano i motori di ricerca a concentrarsi sui tuoi contenuti unici e di valore piuttosto che sulle pagine amministrative o duplicate.

Elimina le personalizzazioni di robots.txt.liquid

Se desideri utilizzare di nuovo il file robots.txt predefinito, puoi eliminare il tuo file robots.txt.liquid personalizzato.

Passaggi:

Dal pannello di controllo Shopify, vai a Negozio online > Temi.
Clicca su > Modifica codice.
Fai clic con il pulsante destro del mouse sul file robots.txt.liquid e seleziona Elimina definitivamente dal menu a discesa.
Clicca su Elimina.

Puoi sempre modificare il file robots.txt.liquid in futuro o, se hai salvato le personalizzazioni precedenti, puoi riapplicare le modifiche copiando le personalizzazioni salvate.