Редактиране на robots.txt.liquid

Търсещите машини, като например Google, постоянно обхождат интернет в търсене на нови данни като източник за резултатите от търсенето си. Файлът robots.txt указва на ботовете на търсещите машини, известни като роботи за обхождане, кои страници да заявят за преглед от Вашия онлайн магазин. Всички магазини в Shopify имат файл robots.txt по подразбиране, който е оптимален за оптимизация за търсачки (SEO).

Вашата карта на сайта се използва от търсещите машини, за да поставят Вашия онлайн магазин в резултатите от търсенето. Научете как да намерите и подадете картата на сайта си.

На тази страница

Разбиране на обхождането спрямо индексирането

Когато работите с robots.txt, е важно да разберете разликата между обхождане и индексиране:

Обхождане: Когато ботове на търсещи машини (като Googlebot) изследват цялото съдържание и код на Вашите страници и го анализират
Индексиране: Когато страниците станат допустими за показване в резултатите от търсенето

Тези процеси не са взаимно изключващи се – търсещите машини могат да индексират страница, без да я обхождат, ако я открият по други начини.

Съображения

Файлът robots.txt по подразбиране работи за повечето магазини. Ако искате да персонализирате файла robots.txt, тогава първо трябва да добавите файл robots.txt.liquid в папката templates на Вашата тема в редактора на код и след това да персонализирате съдържанието на файла. Можете да направите следните редакции:

Разрешаване или забраняване на обхождането на определени URL адреси.
Добавяне на правила за забавяне на обхождането за определени роботи.
Добавяне на допълнителни URL адреси на карта на сайта.
Блокиране на определени роботи.

Файлът robots.txt се намира в основната директория на основния домейн на Вашия магазин в Shopify. Например: example.com/robots.txt.

Редактиране на robots.txt.liquid

Ако искате да редактирате файла robots.txt.liquid, трябва да работите с Партньор на Shopify или да имате експертни познания в редактирането на код и SEO.

Можете да използвате Liquid за добавяне или премахване на директиви от шаблона robots.txt.liquid. Този метод запазва възможността на Shopify да поддържа файла автоматично актуализиран в бъдеще и се препоръчва. За пълно ръководство за редактиране на този файл вижте страницата за разработчици на Shopify Персонализиране на robots.txt.liquid.

Премахнете всички предишни персонализации или заобиколни решения, като например използването на услуга от трета страна като Cloudflare, преди да редактирате файла robots.txt.liquid.

Стъпки:

От своя администраторски панел на Shopify отидете на Онлайн магазин > Теми.
За съответната тема щракнете върху … > Редактиране на код.
Щракнете върху Добавяне на нов шаблон и след това изберете robots.
Щракнете върху Създаване на шаблон.
Направете промените, които желаете, в шаблона по подразбиране. За повече информация относно променливите на Liquid и често срещаните случаи на употреба вижте страницата за разработчици на Shopify Персонализиране на robots.txt.liquid.
Запазете промените във файла robots.txt.liquid във Вашата публикувана тема.

Промените са незабавни, но роботите невинаги реагират веднага. Можете да тествате промените с помощта на Тестера за robots.txt на Google.

Можете също така да изтриете съдържанието на шаблона и да го замените с правила в обикновен текст. Този метод силно не се препоръчва, тъй като правилата може да остареят. Ако изберете този метод, Shopify не може да гарантира, че най-добрите практики за SEO ще се прилагат към Вашия robots.txt с течение на времето, нито да прави промени във файла с бъдещи актуализации.

Разбиране на съобщенията „Индексирано, макар и блокирано“

В Google Search Console URL адресите може да се показват като „индексирано, макар и блокирано от robots.txt“. Това е нормално поведение и обикновено не е повод за безпокойство.

Защо се случва това

Много страници са умишлено блокирани от robots.txt за SEO оптимизация. Това съобщение е начинът на Google да Ви уведоми, че е открито блокирано съдържание, в случай че блокирането е било неволно. Всичко във файла robots.txt по подразбиране на Shopify е там с причина – за да подпомогне Вашето SEO.

Ако нормална страница на Вашия сайт (като например началната Ви страница) се показва като „Индексирано, макар и блокирано“, това обикновено означава, че данните на Google за Вашия магазин са остарели. Google може да отнеме дни, седмици или месеци, за да актуализира своята база данни с последните промени на всеки уебсайт.

Какво да направите

В повечето случаи не е необходимо да предприемате действия. Това е очаквано поведение за страници, които трябва да бъдат блокирани за обхождане, но все пак може да бъдат индексирани чрез други методи за откриване.

Контролиране на достъпа на AI ботове за обхождане

Ако продавате чрез витрини, базирани на агенти, като ChatGPT или Microsoft Copilot, данните за продуктите Ви се разпространяват към тези канали чрез Shopify Catalog, независимо от /robots.txt. AI ботовете за обхождане могат също да имат достъп до магазина Ви директно през отворената мрежа. Достъпът на ботовете има следните две нива на контрол:

Мрежов слой: Управлението на ботове се извършва директно за магазините в Shopify и не е необходимо да предприемате никакви действия. Shopify не препоръчва използването на прокси конфигурация пред Shopify и не може да предостави поддръжка за това.
Ниво /robots.txt: Можете да разрешите или блокирате конкретни ботове за обхождане по потребителски агент, като персонализирате robots.txt.liquid шаблона на магазина си. Правилата, които задавате във файла /robots.txt, са насочващи и препоръчителни, като не е гарантирано, че всички ботове за обхождане ще ги спазват.

Блокирането на обхождащи AI роботи на ниво /robots.txt или мрежов слой засяга само откриваемостта в отворената мрежа. Това не спира изпращането на Вашите продуктови данни от Shopify Catalog към агентските витрини, които сте активирали. За да контролирате какво споделя Shopify Catalog с агентските витрини, вижте Разбиране на Вашите настройки за агентски витрини.

Разбиране на robots.txt файла по подразбиране на Shopify

Файлът robots.txt по подразбиране на Shopify включва конкретни правила за оптимизиране на SEO на Вашия магазин. Ето какво правят някои от ключовите записи:

Disallow: /admin – Предпазва администраторските страници от обхождане, тъй като ботовете така или иначе нямат достъп до тях
Disallow: /cart – Страниците с количка не е необходимо да се индексират, защото са уникални за всеки клиент
Disallow: /checkout – Страниците за плащане не е необходимо да бъдат обхождани или индексирани
Disallow: /collections/*+* – Предотвратява индексирането на филтрирани страници на колекции, което може да създаде проблеми с дублирано съдържание
Disallow: /search – Страниците с резултати от търсене не е необходимо да бъдат обхождани
Disallow: /policies/ – Автоматично генерираните страници с правила са сходни в различните магазини и не се нуждаят от индексиране

Тези правила помагат на търсещите машини да се съсредоточат върху Вашето уникално и ценно съдържание, а не върху административни или дублиращи се страници.

Изтриване на персонализациите на robots.txt.liquid

Ако искате отново да използвате файла robots.txt по подразбиране, можете да изтриете своя персонализиран файл robots.txt.liquid.

Стъпки:

От своя администраторски панел на Shopify отидете на Онлайн магазин > Теми.
Щракнете върху > Редактиране на код.
Щракнете с десен бутон върху robots.txt.liquid и изберете Изтриване за постоянно от падащото меню.
Щракнете върху Изтриване.

Винаги можете да редактирате файла robots.txt.liquid в бъдеще или, ако сте запазили предишните си персонализации, можете да ги възстановите, като ги копирате.