การแก้ไขไฟล์ robots.txt.liquid

เครื่องมือค้นหา เช่น Google จะรวบรวมข้อมูลบนอินเทอร์เน็ตอยู่ตลอดเวลาเพื่อค้นหาข้อมูลใหม่ๆ ที่จะนำมาใช้เป็นแหล่งข้อมูลสำหรับผลการค้นหาของตน ไฟล์ robots.txt จะเป็นตัวบอกบอทของเครื่องมือค้นหา (ที่เรียกว่าโปรแกรมรวบรวมข้อมูล) ว่าจะขอเข้าดูหน้าใดจากร้านค้าออนไลน์ของคุณได้บ้าง ร้านค้า Shopify ทุกแห่งจะมีไฟล์ robots.txt เริ่มต้นซึ่งเหมาะอย่างยิ่งสำหรับการปรับแต่งเว็บไซต์ให้ติดอันดับต้นๆ ในเครื่องมือค้นหา (SEO)

เครื่องมือค้นหาจะใช้แผนผังเว็บไซต์ของคุณเพื่อจัดอันดับร้านค้าออนไลน์ของคุณในผลการค้นหา ดูวิธีค้นหาและส่งแผนผังเว็บไซต์ของคุณ

ในหน้านี้

ทำความเข้าใจเกี่ยวกับการรวบรวมข้อมูลและการจัดทำดัชนี

เมื่อทำงานกับไฟล์ robots.txt สิ่งสำคัญคือต้องทำความเข้าใจความแตกต่างระหว่าง การรวบรวมข้อมูล กับ การจัดทำดัชนี

การรวบรวมข้อมูล คือขั้นตอนที่บอทของเครื่องมือค้นหา (เช่น Googlebot) ตรวจสอบเนื้อหาและโค้ดทั้งหมดบนหน้าเว็บของคุณแล้วนำไปวิเคราะห์
การจัดทำดัชนี คือขั้นตอนที่หน้าเว็บมีสิทธิ์ที่จะปรากฏในผลการค้นหาของเครื่องมือค้นหา

กระบวนการเหล่านี้ไม่ได้เกิดขึ้นแยกจากกันโดยสิ้นเชิง โดยเครื่องมือค้นหาสามารถจัดทำดัชนีหน้าเว็บได้โดยไม่ต้องรวบรวมข้อมูล หากพบเจอหน้าเว็บด้วยวิธีอื่น

ข้อควรพิจารณา

ไฟล์ robots.txt เริ่มต้นนั้นใช้ได้กับร้านค้าส่วนใหญ่ หากคุณต้องการปรับแต่งไฟล์ robots.txt คุณจะต้องเพิ่มไฟล์ robots.txt.liquid ไปยังโฟลเดอร์ templates ของธีมคุณในเครื่องมือแก้ไขโค้ดก่อน จากนั้นจึงปรับแต่งเนื้อหาของไฟล์ คุณสามารถแก้ไขได้ดังต่อไปนี้

อนุญาตหรือไม่อนุญาตให้มีการรวบรวมข้อมูล URL บางรายการ
เพิ่มกฎการหน่วงเวลาการรวบรวมข้อมูลสำหรับโปรแกรมรวบรวมข้อมูลบางรายการ
เพิ่ม URL แผนผังเว็บไซต์เพิ่มเติม
บล็อกโปรแกรมรวบรวมข้อมูลบางรายการ

ไฟล์ robots.txt จะอยู่ที่ไดเรกทอรีรากของชื่อโดเมนหลักในร้านค้า Shopify ของคุณ เช่น example.com/robots.txt

แก้ไข robots.txt.liquid

หากคุณต้องการแก้ไขไฟล์ robots.txt.liquid คุณควรทำงานร่วมกับ Shopify Partner หรือมีความเชี่ยวชาญในการแก้ไขโค้ดและ SEO

คุณสามารถใช้ Liquid เพื่อเพิ่มหรือลบคำสั่งออกจากเทมเพลต robots.txt.liquid ได้ วิธีนี้จะช่วยให้ Shopify ยังคงสามารถอัปเดตไฟล์โดยอัตโนมัติในอนาคตได้ และเป็นวิธีที่แนะนำ หากต้องการดูคำแนะนำฉบับเต็มเกี่ยวกับการแก้ไขไฟล์นี้ โปรดดูที่หน้าสำหรับนักพัฒนาของ Shopify การปรับแต่ง robots.txt.liquid

โปรดลบการปรับแต่งหรือวิธีแก้ปัญหาชั่วคราวก่อนหน้านี้ออก เช่น การใช้บริการจากภายนอกอย่าง Cloudflare ก่อนที่คุณจะแก้ไขไฟล์ robots.txt.liquid

ขั้นตอน

จากส่วนผู้ดูแล Shopify ให้ไปที่ร้านค้าออนไลน์ > ธีม
สำหรับธีมที่เกี่ยวข้อง ให้คลิก … > แก้ไขโค้ด
คลิกเพิ่มเทมเพลตใหม่ จากนั้นเลือก robots
คลิกสร้างเทมเพลต
ดำเนินการเปลี่ยนแปลงที่ต้องการกับเทมเพลตเริ่มต้น หากต้องการข้อมูลเพิ่มเติมเกี่ยวกับตัวแปร Liquid และกรณีการใช้งานทั่วไป โปรดดูที่หน้าสำหรับนักพัฒนาของ Shopify การปรับแต่ง robots.txt.liquid
บันทึกการเปลี่ยนแปลงไปยังไฟล์ robots.txt.liquid ในธีมที่เผยแพร่ของคุณ

การเปลี่ยนแปลงจะมีผลทันที แต่โปรแกรมรวบรวมข้อมูลอาจไม่ตอบสนองในทันทีเสมอไป คุณสามารถทดสอบการเปลี่ยนแปลงได้โดยใช้เครื่องมือทดสอบ robots.txt ของ Google

คุณยังสามารถลบเนื้อหาของเทมเพลตแล้วแทนที่ด้วยกฎข้อความธรรมดาก็ได้ แต่เราไม่แนะนำให้ใช้วิธีนี้เป็นอย่างยิ่ง เนื่องจากกฎอาจล้าสมัยได้ หากคุณเลือกใช้วิธีนี้ Shopify จะไม่สามารถรับประกันได้ว่าหลักปฏิบัติที่ดีที่สุดสำหรับ SEO จะถูกนำไปใช้กับ robots.txt ของคุณเมื่อเวลาผ่านไป หรือทำการเปลี่ยนแปลงไฟล์ในการอัปเดตครั้งถัดๆ ไป

ทำความเข้าใจข้อความ “จัดทำดัชนีแล้ว แต่ถูกบล็อก”

ใน Google Search Console นั้น URL อาจแสดงเป็น “จัดทำดัชนีแล้ว แต่ถูกบล็อกโดย robots.txt” ซึ่งนี่เป็นลักษณะการทำงานปกติและโดยทั่วไปแล้วไม่ใช่เรื่องที่น่ากังวล

ทำไมจึงเป็นเช่นนี้

หลายหน้าถูกบล็อกโดย robots.txt โดยตั้งใจเพื่อเพิ่มประสิทธิภาพ SEO ข้อความนี้เป็นวิธีที่ Google ใช้แจ้งให้คุณทราบว่าพวกเขาได้ค้นพบเนื้อหาที่ถูกบล็อก เผื่อว่าการบล็อกนั้นไม่ได้เกิดจากความตั้งใจ ทุกอย่างในไฟล์ robots.txt เริ่มต้นของ Shopify มีไว้ด้วยเหตุผลเพื่อช่วยในเรื่อง SEO ของคุณ

หากหน้าปกติในเว็บไซต์ของคุณ (เช่น หน้าแรก) แสดงเป็น “จัดทำดัชนีแล้ว แต่ถูกบล็อก” โดยปกติแล้วจะหมายความว่าข้อมูลของ Google เกี่ยวกับร้านค้าของคุณล้าสมัย Google อาจใช้เวลาหลายวัน หลายสัปดาห์ หรือหลายเดือนในการอัปเดตฐานข้อมูลด้วยการเปลี่ยนแปลงล่าสุดของเว็บไซต์ใดๆ

สิ่งที่ต้องทำ

ในกรณีส่วนใหญ่ ไม่จำเป็นต้องดำเนินการใดๆ นี่เป็นลักษณะการทำงานที่คาดไว้สำหรับหน้าที่ควรถูกบล็อกไม่ให้รวบรวมข้อมูล แต่อาจยังคงถูกจัดทำดัชนีผ่านวิธีการค้นพบอื่นๆ

การควบคุมการเข้าถึงของโปรแกรมรวบรวมข้อมูล AI

หากคุณขายสินค้าผ่านหน้าร้านแบบ Agentic เช่น ChatGPT หรือ Microsoft Copilot ข้อมูลสินค้าของคุณจะถูกรวบรวมส่งไปยังช่องทางเหล่านั้นผ่านทาง Shopify Catalog โดยไม่ขึ้นอยู่กับ /robots.txt ทั้งนี้ โปรแกรมรวบรวมข้อมูล AI อาจเข้าถึงร้านค้าของคุณโดยตรงผ่านเว็บแบบเปิดได้เช่นกัน การเข้าถึงของโปรแกรมรวบรวมข้อมูลจะมีการควบคุม 2 เลเยอร์ดังต่อไปนี้

เลเยอร์เครือข่าย ระบบจะจัดการบอทให้ร้านค้าบน Shopify โดยตรงและคุณไม่จำเป็นต้องดำเนินการใดๆ Shopify ไม่แนะนำให้กำหนดค่าพร็อกซีไว้ด้านหน้า Shopify และไม่สามารถให้ความช่วยเหลือในเรื่องนี้ได้เช่นกัน
เลเยอร์ /robots.txt: คุณสามารถอนุญาตหรือบล็อกโปรแกรมรวบรวมข้อมูลของ User-Agent เฉพาะเจาะจงได้โดยปรับแต่งเทมเพลต robots.txt.liquid ของร้านค้า กฎที่คุณกำหนดไว้ในไฟล์ /robots.txt จะเป็นการให้ทิศทางและคำแนะนำ ซึ่งไม่รับประกันว่าโปรแกรมรวบรวมข้อมูลทุกตัวจะปฏิบัติตาม

การบล็อกโปรแกรมรวบรวมข้อมูลปัญญาประดิษฐ์ที่ /robots.txt หรือเลเยอร์เครือข่ายจะส่งผลต่อการค้นพบบนเว็บแบบเปิดเท่านั้น ซึ่งจะไม่ทำให้ Shopify Catalog หยุดส่งข้อมูลสินค้าของคุณไปยังหน้าร้านแบบเอเจนต์ที่คุณเปิดใช้งาน หากต้องการควบคุมข้อมูลที่ Shopify Catalog แชร์กับหน้าร้านแบบเอเจนต์ โปรดดูที่การทำความเข้าใจการตั้งค่าหน้าร้านแบบเอเจนต์ของคุณ

ทำความเข้าใจไฟล์ robots.txt เริ่มต้นของ Shopify

ไฟล์ robots.txt เริ่มต้นของ Shopify มีกฎเฉพาะเพื่อเพิ่มประสิทธิภาพ SEO ให้กับร้านค้าของคุณ รายการสำคัญบางรายการมีการทำงานดังนี้

Disallow: /admin - ป้องกันไม่ให้หน้าผู้ดูแลถูกรวบรวมข้อมูลเนื่องจากบอทไม่สามารถเข้าถึงหน้านั้นๆ ได้อยู่แล้ว
Disallow: /cart - ไม่จำเป็นต้องจัดทำดัชนีหน้าตะกร้าสินค้า เนื่องจากเป็นหน้าเฉพาะสำหรับลูกค้าแต่ละราย
Disallow: /checkout - ไม่จำเป็นต้องรวบรวมข้อมูลหรือจัดทำดัชนีหน้าการชำระเงิน
Disallow: /collections/*+* - ป้องกันไม่ให้หน้าคอลเลกชันที่ผ่านการกรองถูกจัดทำดัชนี ซึ่งอาจสร้างปัญหาเนื้อหาซ้ำซ้อนได้
Disallow: /search - ไม่จำเป็นต้องรวบรวมข้อมูลหน้าผลลัพธ์การค้นหา
Disallow: /policies/ - หน้านโยบายที่สร้างขึ้นโดยอัตโนมัติมีความคล้ายคลึงกันในทุกร้านค้าและไม่จำเป็นต้องจัดทำดัชนี

กฎเหล่านี้ช่วยให้เครื่องมือค้นหามุ่งเน้นไปที่เนื้อหาที่มีคุณค่าและเป็นเอกลักษณ์ของคุณ แทนที่จะเป็นหน้าสำหรับการดูแลระบบหรือหน้าที่ซ้ำซ้อน

ลบการปรับแต่ง robots.txt.liquid

หากคุณต้องการใช้ไฟล์ robots.txt เริ่มต้นอีกครั้ง คุณสามารถลบไฟล์ robots.txt.liquid ที่คุณปรับแต่งเองได้

ขั้นตอน

จากส่วนผู้ดูแล Shopify ให้ไปที่ร้านค้าออนไลน์ > ธีม
คลิก > แก้ไขโค้ด
คลิกขวาที่ robots.txt.liquid แล้วเลือกลบถาวรจากเมนูดรอปดาวน์
คลิกลบ

คุณสามารถแก้ไขไฟล์ robots.txt.liquid ได้ทุกเมื่อในอนาคต หรือหากคุณได้บันทึกการปรับแต่งที่ผ่านมาไว้ คุณก็สามารถนำการเปลี่ยนแปลงกลับมาใช้ใหม่ได้โดยการคัดลอกการปรับแต่งที่บันทึกไว้มาใช้