เกี่ยวกับ robots.txt

ทดสอบ robots.txt ด้วยเครื่องมือทดสอบ robots.txt

เครื่องมือทดสอบ robots.txt จะแสดงให้คุณเห็นว่าไฟล์ robots.txt ของคุณบล็อกโปรแกรมรวบรวมข้อมูลเว็บของ Google ไม่ให้เข้าถึง URL บางรายการบนเว็บไซต์ของคุณไหม ตัวอย่างเช่น คุณสามารถใช้เครื่องมือนี้เพื่อทดสอบว่าโปรแกรมรวบรวมข้อมูล Googlebot-Image สามารถรวบรวมข้อมูล URL ของรูปภาพที่คุณต้องการบล็อกออกจาก Google ค้นรูปได้ไหม

 

เปิดเครื่องมือทดสอบ robots.txt

 

คุณสามารถส่ง URL ไปยังเครื่องมือทดสอบ robots.txt ได้ เครื่องมือนี้จะดำเนินการอย่างที่ Googlebot จะทำเพื่อตรวจสอบไฟล์ robots.txt ของคุณและยืนยันว่ามีการบล็อก URL ของคุณแล้วอย่างเหมาะสม

ทดสอบไฟล์ robots.txt

  1. ุเปิดเครื่องมือทดสอบสำหรับเว็บไซต์ของคุณ แล้วเลื่อนดูโค้ดของ robots.txt เพื่อหาคำเตือนเกี่ยวกับไวยากรณ์และข้อผิดพลาดทางตรรกะที่ไฮไลต์ไว้ จำนวนของคำเตือนเกี่ยวกับไวยากรณ์และข้อผิดพลาดทางตรรกะจะแสดงอยู่ใต้ตัวแก้ไข 
  2. พิมพ์ URL ของหน้าในเว็บไซต์ลงในช่องข้อความที่ด้านล่างของหน้า
  3. เลือก user-agent ที่คุณต้องการจำลองในรายการแบบเลื่อนลงทางขวาของช่องข้อความ
  4. คลิกปุ่มทดสอบเพื่อทดสอบการเข้าถึง
  5. ตรวจสอบดูว่าปุ่มทดสอบมีข้อความว่ายอมรับแล้วหรือบล็อกแล้ว เพื่อดูว่ามีการบล็อก URL ที่ป้อนไม่ให้โปรแกรมรวบรวมข้อมูลเว็บของ Google เข้าถึงไหม
  6. แก้ไขไฟล์บนหน้าแล้วทดสอบใหม่ตามที่จำเป็น โปรดทราบว่าระบบจะไม่บันทึกการเปลี่ยนแปลงของหน้าลงในเว็บไซต์ ดูขั้นตอนถัดไป
  7. คัดลอกการเปลี่ยนแปลงลงในไฟล์ robots.txt บนเว็บไซต์ของคุณ เครื่องมือนี้ไม่ได้เปลี่ยนแปลงไฟล์จริงบนเว็บไซต์ แต่จะทำการทดสอบกับสำเนาที่โฮสต์อยู่ในเครื่องมือเท่านั้น

เครื่องมือทดสอบ robots.txt มีข้อจำกัดดังนี้

  • การเปลี่ยนแปลงใดๆ ที่ทำในตัวแก้ไขของเครื่องมือจะไม่บันทึกลงในเว็บเซิร์ฟเวอร์ของคุณโดยอัตโนมัติ คุณจะต้องคัดลอกและวางเนื้อหาจากตัวแก้ไขลงในไฟล์ robots.txt ที่เก็บไว้บนเซิร์ฟเวอร์
  • เครื่องมือทดสอบ robots.txt จะทดสอบ robots.txt กับ user-agent หรือโปรแกรมรวบรวมข้อมูลเว็บของ Google เช่น Googlebot เท่านั้น เราไม่สามารถคาดการณ์ได้ว่าโปรแกรมรวบรวมข้อมูลเว็บอื่นๆ จะแปลคำสั่งในไฟล์ robots.txt ของคุณอย่างไร
บทความนี้มีประโยชน์ไหม
เราจะปรับปรุงได้อย่างไร