Επεξεργασία του αρχείου robots.txt.liquid

Οι μηχανές αναζήτησης, όπως η Google, κάνουν διαρκώς crawl (ιστοδιφούν) στο διαδίκτυο αναζητώντας νέα δεδομένα ως πηγή για τα αποτελέσματα αναζήτησής τους. Το αρχείο robots.txt ενημερώνει τα bot των μηχανών αναζήτησης, γνωστά και ως crawlers, για τις σελίδες που πρέπει να ζητήσουν για προβολή από το διαδικτυακό σας κατάστημα. Όλα τα καταστήματα Shopify έχουν ένα προεπιλεγμένο αρχείο robots.txt που είναι βέλτιστο για τη Βελτιστοποίηση μηχανών αναζήτησης (SEO).

Ο χάρτης ιστοτόπου σας χρησιμοποιείται από τις μηχανές αναζήτησης για την τοποθέτηση του διαδικτυακού σας καταστήματος στα αποτελέσματα των μηχανών αναζήτησης. Μάθετε πώς μπορείτε να βρείτε και να υποβάλετε τον χάρτη ιστοτόπου σας.

Κατανόηση της διαφοράς μεταξύ crawling (ιστοδίφησης) και ευρετηρίασης

Όταν εργάζεστε με το αρχείο robots.txt, είναι σημαντικό να κατανοήσετε τη διαφορά μεταξύ crawling (ιστοδίφησης) και ευρετηρίασης:

• Crawling (ιστοδίφηση): Όταν τα bot των μηχανών αναζήτησης (όπως το Googlebot) εξετάζουν όλο το περιεχόμενο και τον κώδικα στις σελίδες σας και τα αναλύουν
• Ευρετηρίαση: Όταν οι σελίδες καθίστανται κατάλληλες για εμφάνιση στα αποτελέσματα των μηχανών αναζήτησης

Αυτές οι διαδικασίες δεν είναι αμοιβαία αποκλειόμενες - οι μηχανές αναζήτησης μπορούν να ευρετηριάσουν μια σελίδα χωρίς να κάνουν crawl (ιστοδίφηση) σε αυτήν, εάν την ανακαλύψουν με άλλα μέσα.

Σημαντικές πληροφορίες

Το προεπιλεγμένο αρχείο robots.txt λειτουργεί για τα περισσότερα καταστήματα. Αν θέλετε να προσαρμόσετε το αρχείο robots.txt, τότε πρέπει πρώτα να προσθέσετε ένα αρχείο robots.txt.liquid στον φάκελο templates του θέματός σας στο πρόγραμμα επεξεργασίας κώδικα και, στη συνέχεια, να προσαρμόσετε το περιεχόμενο του αρχείου. Μπορείτε να κάνετε τις ακόλουθες αλλαγές:

• Αποδοχή ή αποκλεισμός της ανίχνευσης για συγκεκριμένα URL.
• Προσθήκη κανόνων καθυστέρησης ανίχνευσης για συγκεκριμένα προγράμματα ανίχνευσης.
• Προσθήκη επιπλέον URL χάρτη ιστοτόπου.
• Αποκλεισμός συγκεκριμένων προγραμμάτων ανίχνευσης.

Το αρχείο robots.txt βρίσκεται στον ριζικό κατάλογο του πρωτογενούς τομέα του καταστήματός σας Shopify. Για παράδειγμα: example.com/robots.txt.

Επεξεργασία του robots.txt.liquid

Αν θέλετε να επεξεργαστείτε το αρχείο robots.txt.liquid , θα πρέπει να συνεργαστείτε με έναν Shopify Partner ή να διαθέτετε εξειδίκευση στην επεξεργασία κώδικα και στο SEO.

Μπορείτε να χρησιμοποιήσετε το Liquid για να προσθέσετε ή να καταργήσετε οδηγίες από το πρότυπο robots.txt.liquid. Αυτή η μέθοδος διατηρεί τη δυνατότητα του Shopify να διατηρεί το αρχείο αυτόματα ενημερωμένο στο μέλλον και συνιστάται. Για έναν πλήρη οδηγό σχετικά με την επεξεργασία αυτού του αρχείου, ανατρέξτε στη σελίδα προγραμματιστών του Shopify Προσαρμογή του robots.txt.liquid.

Καταργήστε τυχόν προηγούμενες προσαρμογές ή πρόχειρες λύσεις, όπως η χρήση μιας υπηρεσίας τρίτων όπως η Cloudflare, προτού επεξεργαστείτε το αρχείο robots.txt.liquid .

Βήματα:

1. Από τον διαχειριστή Shopify, μεταβείτε στην ενότητα Ηλεκτρονικό κατάστημα > Θέματα.

2. Για το σχετικό θέμα, κάντε κλικ στο … > Επεξεργασία κώδικα.

3. Κάντε κλικ στην επιλογή Προσθήκη νέου προτύπου και, στη συνέχεια, επιλέξτε robots.

4. Κάντε κλικ στην επιλογή Δημιουργία προτύπου.

5. Κάντε τις αλλαγές που θέλετε στο προεπιλεγμένο πρότυπο. Για περισσότερες πληροφορίες σχετικά με τις μεταβλητές Liquid και τις συνήθεις περιπτώσεις χρήσης, ανατρέξτε στη σελίδα προγραμματιστών του Shopify Προσαρμογή του robots.txt.liquid.

6. Αποθηκεύστε τις αλλαγές στο αρχείο robots.txt.liquid στο δημοσιευμένο σας θέμα.

Οι αλλαγές είναι άμεσες, αλλά τα προγράμματα ανίχνευσης δεν αντιδρούν πάντα αμέσως. Μπορείτε να δοκιμάσετε τις αλλαγές χρησιμοποιώντας το Εργαλείο ελέγχου robots.txt της Google.

Μπορείτε επίσης να διαγράψετε τα περιεχόμενα του προτύπου και να τα αντικαταστήσετε με κανόνες απλού κειμένου. Αυτή η μέθοδος δεν συνιστάται ανεπιφύλακτα, καθώς οι κανόνες ενδέχεται να καταστούν παρωχημένοι. Αν επιλέξετε αυτήν τη μέθοδο, το Shopify δεν μπορεί να διασφαλίσει ότι οι βέλτιστες πρακτικές SEO εφαρμόζονται στο αρχείο robots.txt σας με την πάροδο του χρόνου ή να κάνει αλλαγές στο αρχείο με μελλοντικές ενημερώσεις.

Κατανόηση των μηνυμάτων «Ευρετηριάστηκε, αν και αποκλείστηκε»

Στο Google Search Console, τα URL ενδέχεται να εμφανίζονται ως «Ευρετηριάστηκε, αν και αποκλείστηκε από το robots.txt». Αυτή είναι μια φυσιολογική συμπεριφορά και συνήθως δεν αποτελεί λόγο ανησυχίας.

Γιατί συμβαίνει αυτό

Πολλές σελίδες αποκλείονται σκόπιμα από το robots.txt για βελτιστοποίηση SEO. Αυτό το μήνυμα είναι ο τρόπος της Google να σας ενημερώσει ότι έχει ανακαλύψει αποκλεισμένο περιεχόμενο, σε περίπτωση που ο αποκλεισμός ήταν ακούσιος. Όλα όσα περιέχονται στο προεπιλεγμένο αρχείο robots.txt του Shopify υπάρχουν για κάποιο λόγο, για να βοηθήσουν το SEO σας.

Αν μια κανονική σελίδα στον ιστότοπό σας (όπως η αρχική σας σελίδα) εμφανίζεται ως «Ευρετηριάστηκε, αν και αποκλείστηκε», τότε αυτό συνήθως σημαίνει ότι τα δεδομένα της Google για το κατάστημά σας δεν είναι ενημερωμένα. Η Google μπορεί να χρειαστεί ημέρες, εβδομάδες ή και μήνες για να ενημερώσει τη βάση δεδομένων της με τις τελευταίες αλλαγές σε οποιονδήποτε ιστότοπο.

Τι πρέπει να κάνετε

Στις περισσότερες περιπτώσεις, δεν απαιτείται καμία ενέργεια. Αυτή είναι η αναμενόμενη συμπεριφορά για σελίδες που θα πρέπει να αποκλείονται από την ανίχνευση, αλλά ενδέχεται να ευρετηριάζονται μέσω άλλων μεθόδων ανακάλυψης.

Έλεγχος πρόσβασης ανιχνευτών τεχνητής νοημοσύνης

Εάν πουλάτε μέσω ηλεκτρονικών καταστημάτων μέσω πρακτόρων, όπως το ChatGPT ή το Microsoft Copilot, τότε τα δεδομένα των προϊόντων σας διανέμονται σε αυτά τα κανάλια μέσω του Shopify Catalog, ανεξάρτητα από το /robots.txt. Οι ανιχνευτές τεχνητής νοημοσύνης ενδέχεται επίσης να έχουν απευθείας πρόσβαση στο κατάστημά σας μέσω του ανοιχτού ιστού. Η πρόσβαση των ανιχνευτών έχει τα ακόλουθα δύο επίπεδα ελέγχου:

• Επίπεδο δικτύου: Η διαχείριση των bot γίνεται απευθείας για τα καταστήματα στο Shopify και δεν απαιτείται καμία ενέργεια από εσάς. Το Shopify δεν συνιστά τη διαμόρφωση διακομιστή μεσολάβησης μπροστά από το Shopify και δεν μπορεί να παρέχει υποστήριξη ούτε για αυτό.
• Επίπεδο /robots.txt: Μπορείτε να επιτρέψετε ή να αποκλείσετε συγκεκριμένους ανιχνευτές πρακτόρων χρήστη, προσαρμόζοντας το πρότυπο robots.txt.liquid του καταστήματός σας. Οι κανόνες που ορίζετε στο αρχείο /robots.txt είναι κατευθυντήριοι και συμβουλευτικοί, και δεν είναι εγγυημένο ότι θα τους ακολουθήσουν όλοι οι ανιχνευτές.

Ο αποκλεισμός των ανιχνευτών τεχνητής νοημοσύνης στο αρχείο /robots.txt ή στο επίπεδο δικτύου επηρεάζει μόνο τη δυνατότητα εντοπισμού στον ανοιχτό ιστό. Δεν εμποδίζει την αποστολή των δεδομένων των προϊόντων σας από το Shopify Catalog στα agentic ηλεκτρονικά καταστήματα που έχετε ενεργοποιήσει. Για να ελέγξετε τι κοινοποιεί το Shopify Catalog στα agentic ηλεκτρονικά καταστήματα, ανατρέξτε στην ενότητα Κατανόηση των ρυθμίσεων των agentic ηλεκτρονικών καταστημάτων σας.

Κατανόηση του προεπιλεγμένου robots.txt του Shopify

Το προεπιλεγμένο αρχείο robots.txt του Shopify περιλαμβάνει συγκεκριμένους κανόνες για τη βελτιστοποίηση του SEO του καταστήματός σας. Δείτε τι κάνουν ορισμένες βασικές εγγραφές:

• Disallow: /admin - Εμποδίζει την ανίχνευση των σελίδων διαχειριστή, επειδή τα bots δεν μπορούν να έχουν πρόσβαση σε αυτές ούτως ή άλλως
• Disallow: /cart - Οι σελίδες καλαθιού δεν χρειάζεται να ευρετηριάζονται, επειδή είναι μοναδικές για κάθε πελάτη
• Disallow: /checkout - Οι σελίδες ολοκλήρωσης αγοράς δεν χρειάζεται να ανιχνεύονται ή να ευρετηριάζονται
• Disallow: /collections/*+* - Αποτρέπει την ευρετηρίαση φιλτραρισμένων σελίδων συλλογών, η οποία θα μπορούσε να δημιουργήσει ζητήματα διπλότυπου περιεχομένου
• Disallow: /search - Οι σελίδες αποτελεσμάτων αναζήτησης δεν χρειάζεται να ανιχνεύονται
• Disallow: /policies/ - Οι αυτόματα δημιουργούμενες σελίδες πολιτικών είναι παρόμοιες σε όλα τα καταστήματα και δεν χρειάζονται ευρετηρίαση

Αυτοί οι κανόνες βοηθούν τις μηχανές αναζήτησης να εστιάζουν στο μοναδικό, πολύτιμο περιεχόμενό σας και όχι σε σελίδες διαχείρισης ή διπλότυπες σελίδες.

Διαγραφή προσαρμογών του robots.txt.liquid

Αν θέλετε να χρησιμοποιήσετε ξανά το προεπιλεγμένο αρχείο robots.txt, μπορείτε να διαγράψετε το προσαρμοσμένο αρχείο robots.txt.liquid.

Βήματα:

1. Από τον διαχειριστή Shopify, μεταβείτε στην ενότητα Ηλεκτρονικό κατάστημα > Θέματα.

2. Κάντε κλικ στο > Επεξεργασία κώδικα.

3. Κάντε δεξί κλικ στο robots.txt.liquid και επιλέξτε Μόνιμη διαγραφή από το αναπτυσσόμενο μενού.

4. Κάντε κλικ στην επιλογή Διαγραφή.

Μπορείτε πάντα να επεξεργαστείτε το αρχείο robots.txt.liquid στο μέλλον ή, αν αποθηκεύσατε τις προηγούμενες προσαρμογές σας, μπορείτε να τις εφαρμόσετε ξανά αντιγράφοντάς τες.