การยืนยัน Googlebot

คุณสามารถยืนยันได้ว่าโปรแกรมรวบรวมข้อมูลเว็บที่เข้าถึงเซิร์ฟเวอร์ของคุณคือ Googlebot จริงไหม (หรือเป็น user-agent ของ Google ตัวอื่น) วิธีนี้มีประโยชน์หากคุณกังวลว่านักส่งสแปมหรือผู้ไม่ประสงค์ดีอื่นๆ กำลังเข้าถึงเว็บไซต์ของคุณโดยอ้างตัวเป็น Googlebot Google จะไม่โพสต์รายชื่อที่อยู่ IP สาธารณะของผู้ดูแลเว็บลงในรายการที่อนุญาตพิเศษ เนื่องจากช่วงที่อยู่ IP ดังกล่าวสามารถเปลี่ยนแปลงได้ ซึ่งทำให้เกิดปัญหากับผู้ดูแลเว็บที่ฮาร์ดโค้ดที่อยู่ไว้ ด้วยเหตุนี้คุณจึงต้องเรียกใช้การค้นหา DNS ตามที่ได้อธิบายไว้ในส่วนถัดไป

วิธียืนยันว่า Googlebot เป็นโปรแกรมที่เรียก

  1. เรียกใช้การค้นหา DNS แบบย้อนกลับกับที่อยู่ IP ที่เข้าถึงจากบันทึกของคุณโดยใช้คำสั่ง host
  2. ยืนยันว่าชื่อโดเมนนั้นอยู่ใน googlebot.com หรือใน google.com
  3. เรียกใช้การค้นหา DNS แบบส่งต่อกับชื่อโดเมนที่ได้รับในขั้นตอนที่ 1 โดยใช้คำสั่ง host กับชื่อโดเมนที่ได้รับนั้น จากนั้นให้ตรวจดูว่าชื่อโดเมนที่ได้นั้นเป็นที่อยู่ IP เดิมที่เข้าถึงจากบันทึกของคุณ

ตัวอย่างที่ 1

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

 

ตัวอย่างที่ 2

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

 

บทความนี้มีประโยชน์ไหม
เราจะปรับปรุงได้อย่างไร