โปรแกรมรวบรวมข้อมูลของ Google (User Agent)

ดูว่า Google ใช้โรบอตใดเพื่อรวบรวมข้อมูลเว็บ

"โปรแกรมรวบรวมข้อมูล" เป็นคำทั่วไปสำหรับโปรแกรมต่างๆ (เช่น โรบ็อตหรือสไปเดอร์) ที่ใช้สำรวจและสแกนเว็บไซต์โดยอัตโนมัติด้วยการติดตามลิงก์จากหน้าเว็บหนึ่งไปยังอีกหน้าเว็บหนึ่ง โปรแกรมรวบรวมข้อมูลหลักของ Google เรียกว่า Googlebot ตารางนี้แสดงข้อมูลเกี่ยวกับโปรแกรมรวบรวมข้อมูลทั่วไปของ Google ที่คุณอาจพบในบันทึกผู้บอกต่อ และวิธีที่ควรระบุโปรแกรมดังกล่าวไว้ใน robots.txt, เมตาแท็ก robots และคำสั่ง HTTP ของ X-Robots-Tag

ตารางต่อไปนี้แสดงโปรแกรมรวบรวมข้อมูลที่ผลิตภัณฑ์และบริการต่างๆ ใช้ที่ Google

  • โทเค็น User Agent จะใช้ในบรรทัด User-agent: ของ robots.txt เพื่อจับคู่กับโปรแกรมรวบรวมข้อมูลเมื่อเขียนกฎการรวบรวมข้อมูลสำหรับเว็บไซต์ โปรแกรมรวบรวมข้อมูลบางตัวมีมากกว่า 1 โทเค็นดังที่แสดงในตาราง คุณต้องจับคู่โทเค็นของโปรแกรมรวบรวมข้อมูลเพียง 1 โปรแกรมเท่านั้นเพื่อใช้กฎ รายการนี้ไม่สมบูรณ์ แต่ครอบคลุมโปรแกรมรวบรวมข้อมูลส่วนใหญ่ที่คุณอาจเห็นในเว็บไซต์ของคุณ
  • สตริง User Agent แบบเต็มเป็นคำอธิบายแบบเต็มของโปรแกรมรวบรวมข้อมูล และจะปรากฏในคำขอและบันทึกการใช้เว็บของคุณ
ค่าเหล่านี้ปลอมแปลงได้ หากคุณต้องการยืนยันว่าผู้เข้าชมเป็น Googlebot คุณควรใช้การค้นหา DNS แบบย้อนกลับ
โปรแกรมรวบรวมข้อมูล โทเค็น User Agent (โทเค็นผลิตภัณฑ์) สตริง User Agent แบบเต็ม
APIs-Google

APIs-Google

APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense

Mediapartners-Google

Mediapartners-Google

AdsBot Mobile Web Android

(ตรวจสอบคุณภาพโฆษณาในหน้าเว็บของ Android)

AdsBot-Google-Mobile

Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

(ตรวจสอบคุณภาพโฆษณาในหน้าเว็บของ iPhone)

AdsBot-Google-Mobile

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

(ตรวจสอบคุณภาพโฆษณาในหน้าเว็บสำหรับเดสก์ท็อป)

AdsBot-Google

AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot Images
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
Googlebot News
  • Googlebot-News
  • Googlebot
Googlebot-News
Googlebot Video
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0

Googlebot (เดสก์ท็อป)

Googlebot

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36

    หรือ (ไม่ค่อยนิยมใช้)
     
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot (สมาร์ทโฟน)

Googlebot

 

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense

Mediapartners-Google

(อุปกรณ์เคลื่อนที่ประเภทต่างๆ) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobile Apps Android

(ตรวจสอบคุณภาพโฆษณาในหน้าแอปของ Android ปฏิบัติตามกฎของโรบ็อต AdsBot-Google)

AdsBot-Google-Mobile-Apps

AdsBot-Google-Mobile-Apps

Feedfetcher

FeedFetcher-Google

ไม่ดำเนินการตามกฎของ robots.txt - ดูเหตุผลที่นี่

FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google อ่านออกเสียง

Google-Read-Aloud

ไม่ดำเนินการตามกฎของ robots.txt - ดูเหตุผลที่นี่

  • Agent ปัจจุบัน:
    Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
  • Agent เดิม (เลิกใช้งาน):
    google-speakr

User Agent ใน robots.txt

เมื่อระบบรู้จัก user-agent หลายตัวในไฟล์ robots.txt แล้ว Google จะดำเนินการตาม user-gent ที่เจาะจงที่สุด หากต้องการให้โปรแกรมของ Google ทั้งหมดรวบรวมข้อมูลหน้าของคุณ คุณไม่จำเป็นต้องใช้ไฟล์ robots.txt เลย หากต้องการบล็อกหรืออนุญาตให้โปรแกรมรวบรวมข้อมูลทั้งหมดของ Google เข้าถึงเนื้อหาของคุณบางส่วน สามารถทำได้โดยการระบุ Googlebot เป็น user-agent ตัวอย่างเช่น คุณไม่จำเป็นต้องใช้ไฟล์ robots.txt หากต้องการให้หน้าทั้งหมดปรากฏใน Google Search และหากต้องการให้โฆษณา AdSense ปรากฏในหน้าเหล่านั้น เช่นเดียวกัน หากคุณต้องการบล็อกไม่ให้ Google เข้าถึงบางหน้าโดยสมบูรณ์ การบล็อก user-agent Googlebot จะบล็อก user-agent อื่นๆ ทั้งหมดของ Google ด้วย

แต่ถ้าต้องการการควบคุมที่ละเอียดยิ่งขึ้น คุณสามารถระบุให้เจาะจงกว่าเดิมได้ ตัวอย่างเช่น คุณอาจต้องการให้หน้าทั้งหมดปรากฏใน Google Search แต่ไม่ต้องการให้มีการรวบรวมข้อมูลรูปภาพในไดเรกทอรีส่วนตัว ในกรณีนี้ ให้ใช้ robots.txt เพื่อไม่อนุญาตให้ user-agent Googlebot-image รวบรวมข้อมูลไฟล์ในไดเรกทอรี /personal (แต่อนุญาตให้ Googlebot รวบรวมข้อมูลไฟล์ทั้งหมด) ดังต่อไปนี้

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal
อีกตัวอย่างหนึ่ง เช่น สมมติว่าคุณต้องการแสดงโฆษณาในหน้าทุกหน้า แต่ไม่ต้องการให้หน้าเหล่านั้นปรากฏใน Google Search คุณสามารถบล็อก Googlebot แต่อนุญาต Mediapartners-Google ได้ด้วยวิธีต่อไปนี้
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

User Agent ในเมตาแท็ก robots

บางหน้าจะใช้แท็ก meta สำหรับโรบ็อตหลายตัวเพื่อระบุคำสั่งสำหรับโปรแกรมรวบรวมข้อมูลต่างๆ เช่น

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

ในกรณีนี้ Google จะใช้ผลรวมของคำสั่งเชิงลบ และ Googlebot จะทำตามทั้งคำสั่ง noindex และ nofollow ดูข้อมูลอย่างละเอียดยิ่งขึ้นเกี่ยวกับการควบคุมวิธีที่ Google รวบรวมข้อมูลและจัดทำดัชนีเว็บไซต์ของคุณ

บทความนี้มีประโยชน์ไหม
เราจะปรับปรุงได้อย่างไร