Chỉnh sửa robots.txt.liquid

Các công cụ tìm kiếm, như Google, liên tục cào dữ liệu internet để tìm dữ liệu mới làm nguồn cho kết quả tìm kiếm. Tệp robots.txt cho các bot của công cụ tìm kiếm (được gọi là trình thu thập dữ liệu) biết trang nào cần yêu cầu để xem từ cửa hàng trực tuyến. Tất cả cửa hàng Shopify đều có tệp robots.txt mặc định được tối ưu hóa cho Tối ưu hóa công cụ tìm kiếm (SEO).

Sơ đồ trang web được các công cụ tìm kiếm sử dụng để đặt cửa hàng trực tuyến vào kết quả của công cụ tìm kiếm. Tìm hiểu cách tìm và gửi sơ đồ trang web.

Trên trang này

Hiểu về cào dữ liệu và lập chỉ mục

Khi làm việc với robots.txt, điều quan trọng là phải hiểu sự khác biệt giữa cào dữ liệu và lập chỉ mục:

Cào dữ liệu: Khi các bot của công cụ tìm kiếm (như Googlebot) kiểm tra mọi nội dung và mã trên các trang và phân tích chúng
Lập chỉ mục: Khi các trang đủ điều kiện xuất hiện trong kết quả của công cụ tìm kiếm

Các quá trình này không loại trừ lẫn nhau - công cụ tìm kiếm có thể lập chỉ mục một trang mà không cần cào dữ liệu trang đó nếu chúng phát hiện ra trang thông qua các phương tiện khác.

Lưu ý

Tệp robots.txt mặc định phù hợp với hầu hết cửa hàng. Nếu muốn tùy chỉnh tệp robots.txt, trước tiên, bạn phải thêm tệp robots.txt.liquid vào thư mục templates của chủ đề trong trình chỉnh sửa mã, sau đó tùy chỉnh nội dung tệp. Bạn có thể thực hiện các thao tác chỉnh sửa sau:

Cho phép hoặc không cho phép cào dữ liệu một số URL nhất định.
Thêm quy tắc trì hoãn cào dữ liệu đối với một số trình thu thập dữ liệu.
Thêm URL sơ đồ trang web bổ sung.
Chặn một số trình thu thập dữ liệu.

Tệp robots.txt nằm ở thư mục gốc của tên miền chính của cửa hàng Shopify. Ví dụ: example.com/robots.txt.

Chỉnh sửa robots.txt.liquid

Nếu muốn chỉnh sửa tệp robots.txt.liquid, bạn nên làm việc với Đối tác Shopify hoặc có chuyên môn về chỉnh sửa mã và SEO.

Bạn có thể sử dụng Liquid để thêm hoặc xóa lệnh khỏi mẫu robots.txt.liquid. Phương pháp này vẫn giữ được khả năng tự động cập nhật tệp của Shopify trong tương lai và được khuyên dùng. Để xem hướng dẫn đầy đủ về cách chỉnh sửa tệp này, hãy tham khảo trang Nhà phát triển của Shopify: Tùy chỉnh robots.txt.liquid.

Xóa mọi tùy chỉnh hoặc giải pháp thay thế tạm thời trước đó, chẳng hạn như sử dụng dịch vụ của bên thứ ba như Cloudflare, trước khi chỉnh sửa tệp robots.txt.liquid.

Các bước thực hiện:

Từ trang quản trị Shopify, vào phần Cửa hàng trực tuyến > Chủ đề.
Đối với chủ đề liên quan, nhấp vào … > Chỉnh sửa mã.
Nhấp vào Thêm mẫu mới, rồi chọn robots.
Nhấp vào Tạo mẫu.
Thực hiện những thay đổi bạn muốn đối với mẫu mặc định. Để biết thêm thông tin về biến liquid và các trường hợp sử dụng phổ biến, hãy tham khảo trang Nhà phát triển của Shopify: Tùy chỉnh robots.txt.liquid.
Lưu thay đổi đối với tệp robots.txt.liquid trong chủ đề đã hoạt động.

Các thay đổi sẽ có hiệu lực ngay lập tức, nhưng trình thu thập dữ liệu không phải lúc nào cũng phản hồi ngay. Bạn có thể kiểm tra các thay đổi bằng Công cụ kiểm tra robots.txt của Google.

Bạn cũng có thể xóa nội dung mẫu và thay bằng các quy tắc văn bản thuần túy. Chúng tôi đặc biệt khuyên không nên dùng phương pháp này vì các quy tắc có thể bị lỗi thời. Nếu bạn chọn phương pháp này, Shopify không thể đảm bảo rằng các thực hành tốt nhất về SEO được áp dụng cho robots.txt theo thời gian, hoặc thực hiện thay đổi cho tệp trong các bản cập nhật sau này.

Hiểu thông báo "Đã lập chỉ mục, mặc dù bị chặn"

Trong Google Search Console, URL có thể hiển thị dưới dạng "đã lập chỉ mục, mặc dù bị robots.txt chặn" (indexed, though blocked by robots.txt). Đây là hành vi bình thường và thường không đáng lo ngại.

Lý do xảy ra

Nhiều trang cố tình bị robots.txt chặn để tối ưu hóa SEO. Thông báo này là cách Google cho bạn biết họ đã phát hiện nội dung bị chặn, phòng trường hợp bạn vô tình chặn. Mọi nội dung trong tệp robots.txt mặc định của Shopify đều có lý do để giúp ích cho SEO của bạn.

Nếu một trang bình thường trên trang web (chẳng hạn như trang chủ) hiển thị là "Đã lập chỉ mục, mặc dù bị chặn", điều này thường có nghĩa là dữ liệu của Google về cửa hàng đã lỗi thời. Google có thể mất vài ngày, vài tuần hoặc vài tháng để cập nhật cơ sở dữ liệu về những thay đổi mới nhất đối với trang web bất kỳ.

Cần làm gì

Trong hầu hết các trường hợp, bạn không cần làm gì. Đây là hành vi dự kiến đối với các trang bị chặn cào dữ liệu nhưng có thể vẫn được lập chỉ mục thông qua các phương pháp khám phá khác.

Kiểm soát quyền truy cập của trình thu thập dữ liệu AI

Nếu bạn bán hàng qua cửa hàng agentic như ChatGPT hoặc Microsoft Copilot, dữ liệu sản phẩm của bạn sẽ được cung cấp cho những kênh đó thông qua Shopify Catalog, độc lập với /robots.txt. Trình thu thập dữ liệu AI cũng có thể truy cập trực tiếp vào cửa hàng qua trang web mở. Quyền truy cập của trình thu thập dữ liệu có hai lớp kiểm soát sau:

Lớp mạng: Việc quản lý bot được xử lý trực tiếp cho các cửa hàng trên Shopify và bạn không cần thao tác gì thêm. Shopify không khuyến nghị sử dụng cấu hình proxy đặt trước Shopify và cũng không hỗ trợ việc này.
Lớp /robots.txt: Bạn có thể cho phép hoặc chặn các trình thu thập dữ liệu user-agent cụ thể bằng cách tùy chỉnh mẫu robots.txt.liquid của cửa hàng. Các quy tắc bạn thiết lập trong tệp /robots.txt mang tính định hướng và tư vấn, không phải trình thu thập dữ liệu nào cũng đảm bảo sẽ tuân thủ.

Việc chặn trình thu thập dữ liệu AI ở cấp /robots.txt hoặc lớp mạng chỉ ảnh hưởng đến khả năng tìm thấy trên web mở. Việc này không ngăn Shopify Catalog gửi dữ liệu sản phẩm của bạn đến các cửa hàng tác nhân mà bạn đã kích hoạt. Để kiểm soát thông tin mà Shopify Catalog chia sẻ với cửa hàng tác nhân, hãy tham khảo Hiểu về cài đặt cửa hàng tác nhân.

Hiểu về robots.txt mặc định của Shopify

Tệp robots.txt mặc định của Shopify bao gồm các quy tắc cụ thể để tối ưu hóa SEO cho cửa hàng. Dưới đây là chức năng của một số mục chính:

Disallow: /admin - Giữ cho các trang quản trị không bị cào dữ liệu vì bot cũng không thể truy cập
Disallow: /cart - Các trang giỏ hàng không cần được lập chỉ mục vì chúng là duy nhất đối với mỗi khách hàng
Disallow: /checkout - Các trang thanh toán không cần được cào dữ liệu hoặc lập chỉ mục
Disallow: /collections/*+* - Ngăn chặn lập chỉ mục các trang bộ sưu tập được lọc, điều có thể gây ra vấn đề trùng lặp nội dung
Disallow: /search - Các trang kết quả tìm kiếm không cần được cào dữ liệu
Disallow: /policies/ - Các trang chính sách được tạo tự động đều giống nhau giữa các cửa hàng và không cần lập chỉ mục

Những quy tắc này giúp các công cụ tìm kiếm tập trung vào nội dung độc đáo, có giá trị thay vì các trang quản trị hoặc trang trùng lặp.

Xóa các tùy chỉnh robots.txt.liquid

Nếu muốn sử dụng lại tệp robots.txt mặc định, bạn có thể xóa tệp robots.txt.liquid tùy chỉnh.

Các bước thực hiện:

Từ trang quản trị Shopify, vào phần Cửa hàng trực tuyến > Chủ đề.
Nhấp vào > Chỉnh sửa mã.
Nhấp chuột phải vào robots.txt.liquid và chọn Xóa vĩnh viễn từ menu thả xuống.
Nhấp vào Xóa.

Bạn luôn có thể chỉnh sửa tệp robots.txt.liquid trong tương lai. Hoặc nếu đã lưu các tùy chỉnh trước đây, bạn có thể khôi phục các thay đổi bằng cách sao chép các tùy chỉnh đã lưu đó.