Menyunting robots.txt.liquid

Enjin carian, seperti Google, sentiasa merangkak Internet untuk mencari data baharu sebagai sumber bagi hasil carian mereka. Fail robots.txt memberitahu bot enjin carian, yang dikenali sebagai perangkak, halaman yang perlu diminta untuk dilihat dari kedai dalam talian anda. Semua Kedai Shopify mempunyai fail robots.txt lalai yang optimum untuk Pengoptimuman Enjin Carian (SEO).

Peta laman anda digunakan oleh enjin carian untuk menempatkan kedai dalam talian anda dalam hasil enjin carian. Ketahui cara mencari dan menyerahkan peta laman anda.

Pada halaman ini

Memahami merangkak berbanding mengindeks

Apabila menggunakan robots.txt, penting untuk memahami perbezaan antara merangkak dan mengindeks:

Merangkak: Apabila bot enjin carian (seperti Googlebot) memeriksa semua kandungan dan kod pada halaman anda serta menganalisisnya
Mengindeks: Apabila halaman menjadi layak untuk dipaparkan dalam hasil enjin carian

Proses ini bukan saling eksklusif - enjin carian boleh mengindeks halaman tanpa merangkaknya jika mereka menemukannya melalui cara lain.

Pertimbangan

Fail robots.txt lalai berfungsi untuk kebanyakan kedai. Jika anda mahu menyesuaikan fail robots.txt, anda perlu menambahkan fail robots.txt.liquid pada folder templat bagi tema anda dalam penyunting kod terlebih dahulu, kemudian sesuaikan kandungan fail. Anda boleh membuat pengeditan berikut:

Benarkan atau tidak membenarkan URL tertentu daripada dirangkak.
Tambahkan peraturan penangguhan merangkak untuk perangkak tertentu.
Tambahkan URL peta laman tambahan.
Sekat perangkak tertentu.

Fail robots.txt terletak di direktori akar nama domain utama Kedai Shopify anda. Contohnya: example.com/robots.txt.

Sunting robots.txt.liquid

Jika anda mahu menyunting fail robots.txt.liquid, anda patut bekerjasama dengan Rakan Kongsi Shopify atau mempunyai kepakaran dalam pengeditan kod dan SEO.

Anda boleh menggunakan Liquid untuk menambahkan atau mengalih keluar arahan daripada templat robots.txt.liquid. Kaedah ini mengekalkan keupayaan Shopify untuk memastikan fail dikemaskinikan secara automatik pada masa hadapan dan disyorkan. Untuk panduan lengkap tentang pengeditan fail ini, rujuk halaman Pembangun Shopify Sesuaikan robots.txt.liquid.

Alih keluar sebarang penyesuaian sebelumnya atau jalan penyelesaian alternatif, seperti menggunakan perkhidmatan pihak ketiga contohnya Cloudflare, sebelum anda menyunting fail robots.txt.liquid.

Langkah-langkah:

Daripada pentadbir Shopify anda, pergi ke Kedai Dalam Talian > Tema.
Untuk tema yang berkaitan, klik … > Sunting kod.
Klik Tambahkan templat baharu, kemudian pilih robots.
Klik Cipta templat.
Buat perubahan yang anda mahu lakukan pada templat lalai. Untuk mendapatkan maklumat lanjut tentang pemboleh ubah liquid dan kes penggunaan biasa, rujuk halaman Pembangun Shopify Sesuaikan robots.txt.liquid.
Simpan perubahan pada fail robots.txt.liquid dalam tema diterbitkan anda.

Perubahan adalah serta-merta, tetapi perangkak tidak semestinya bertindak balas dengan segera. Anda boleh menguji perubahan menggunakan Penguji robots.txt Google.

Anda juga boleh memadamkan kandungan templat dan menggantikannya dengan peraturan teks biasa. Kaedah ini amat tidak disyorkan, kerana peraturan mungkin menjadi lapuk. Jika anda memilih kaedah ini, Shopify tidak dapat memastikan amalan terbaik SEO digunakan pada robots.txt anda dari semasa ke semasa, atau membuat perubahan pada fail dengan kemaskinian masa hadapan.

Memahami mesej "Diindeks, walaupun disekat"

Dalam Google Search Console, URL mungkin dipaparkan sebagai "diindeks, walaupun disekat oleh robots.txt". Ini ialah tingkah laku biasa dan selalunya tidak perlu dirisaukan.

Sebab ini berlaku

Banyak halaman disekat dengan sengaja oleh robots.txt untuk pengoptimuman SEO. Mesej ini ialah cara Google untuk memberitahu anda bahawa mereka telah menemukan kandungan yang disekat, sekiranya sekatan tersebut tidak disengajakan. Semuanya dalam fail robots.txt lalai Shopify berada di situ dengan sebab untuk membantu SEO anda.

Jika halaman biasa pada tapak anda (seperti laman utama anda) dipaparkan sebagai "Diindeks, walaupun disekat", ini selalunya bermakna data Google tentang kedai anda telah lapuk. Google boleh mengambil masa berhari-hari, berminggu-minggu, atau berbulan-bulan untuk mengemaskinikan pangkalan data mereka dengan perubahan terkini pada mana-mana laman web.

Perkara yang perlu dilakukan

Dalam kebanyakan kes, tiada tindakan diperlukan. Ini ialah tingkah laku yang dijangkakan untuk halaman yang sepatutnya disekat daripada dirangkak tetapi mungkin masih diindeks melalui kaedah penemuan lain.

Mengawal akses perangkak AI

Jika anda menjual melalui laman kedai ejen seperti ChatGPT atau Microsoft Copilot, maka data produk anda disindiketkan kepada saluran tersebut melalui Shopify Catalog, secara berasingan daripada /robots.txt. Perangkak AI mungkin juga mengakses kedai anda secara langsung melalui web terbuka. Akses perangkak mempunyai dua lapisan kawalan yang berikut:

Lapisan rangkaian: Pengurusan bot dikendalikan secara langsung untuk kedai di Shopify dan anda tidak perlu mengambil apa-apa tindakan. Shopify tidak mengesyorkan konfigurasi proksi di hadapan Shopify dan juga tidak dapat memberikan sokongan untuk perkara ini.
Lapisan /robots.txt: Anda boleh membenarkan atau menyekat perangkak ejen pengguna tertentu dengan menyesuaikan templat robots.txt.liquid kedai anda. Peraturan yang anda tetapkan dalam fail /robots.txt anda berfungsi sebagai panduan dan nasihat, dan bukan semua perangkak dijamin akan mematuhinya.

Tindakan menyekat perangkak AI pada /robots.txt atau lapisan rangkaian hanya mempengaruhi kebolehtemuan web terbuka. Tindakan ini tidak menghalang data produk anda daripada dihantar oleh Shopify Catalog ke laman kedai agentik yang telah anda aktifkan. Untuk mengawal perkara yang dikongsi oleh Shopify Catalog dengan laman kedai agentik, rujuk Memahami tetapan laman kedai agentik anda.

Memahami robots.txt lalai Shopify

Fail robots.txt lalai Shopify menyertakan peraturan khusus untuk mengoptimumkan SEO kedai anda. Berikut ialah fungsi beberapa entri penting:

Disallow: /admin - Menghalang halaman pentadbir daripada dirangkak kerana bot memang tidak boleh mengaksesnya
Disallow: /cart - Halaman troli tidak perlu diindeks kerana halaman ini unik untuk setiap pelanggan
Disallow: /checkout - Halaman pembayaran tidak perlu dirangkak atau diindeks
Disallow: /collections/*+* - Menghalang halaman koleksi yang ditapis daripada diindeks, yang boleh mencetuskan isu kandungan pendua
Disallow: /search - Halaman hasil carian tidak perlu dirangkak
Disallow: /policies/ - Halaman dasar yang dijanakan secara automatik adalah serupa merentas kedai dan tidak memerlukan pengindeksan

Peraturan ini membantu enjin carian memfokuskan pada kandungan unik dan bernilai anda berbanding halaman pentadbiran atau pendua.

Padam penyesuaian robots.txt.liquid

Jika anda mahu menggunakan fail robots.txt lalai semula, anda boleh memadamkan fail robots.txt.liquid tersuai anda.

Langkah-langkah:

Daripada pentadbir Shopify anda, pergi ke Kedai Dalam Talian > Tema.
Klik > Sunting kod.
Klik kanan robots.txt.liquid, dan pilih Padam secara kekal daripada menu juntai bawah.
Klik Padam.

Anda sentiasa boleh menyunting fail robots.txt.liquid pada masa hadapan, atau jika anda menyimpan penyesuaian masa lalu, anda boleh mengulangi perubahan anda dengan menyalin penyesuaian yang disimpan sebelum ini.