เกี่ยวกับ Crawler โฆษณาของ AdSense

Crawler หรือที่เรียกว่าสไปเดอร์หรือบอต เป็นซอฟต์แวร์ที่ Google ใช้เพื่อประมวลผลและจัดทำดัชนีเนื้อหาของหน้าเว็บ Crawler ของ AdSense หรือที่เรียกว่า Mediapartners-Google จะไปยังเว็บไซต์ของคุณเพื่อพิจารณาเนื้อหา และนำเสนอโฆษณาที่เกี่ยวข้อง

ต่อไปนี้เป็นข้อเท็จจริงสำคัญบางประการที่ควรทราบเกี่ยวกับโปรแกรมรวบรวมข้อมูลของ AdSense

• รายงานของ Crawler จะได้รับการอัปเดตทุกสัปดาห์

  การ Crawl จะดำเนินการโดยอัตโนมัติและเราไม่สามารถตอบรับคำขอสำหรับการรวบรวมข้อมูลบ่อยขึ้นได้

• โปรแกรมรวบรวมข้อมูลของ AdSense แตกต่างจากโปรแกรมรวบรวมข้อมูลของ Google

  Crawler 2 ชนิดนี้แยกต่างหากกัน แต่ใช้แคชร่วมกัน วิธีนี้เป็นการหลีกเลี่ยงไม่ให้ Crawler ทั้งสองเรียกใช้หน้าเว็บเดียวกัน จึงช่วยให้ผู้เผยแพร่โฆษณาประหยัดแบนด์วิดท์ได้ ในทำนองเดียวกัน โปรแกรมรวบรวมข้อมูลของ Search Console ก็เป็นอีกโปรแกรมที่แยกออกไปต่างหาก

  หมายเหตุ: AdSense ยังใช้ Crawler ที่เรียกว่า Google-Display-Ads-Bot เพื่อยืนยันเว็บไซต์เมื่อคุณเพิ่มเว็บไซต์ลงใน AdSense
• การแก้ปัญหาการ Crawl ของ AdSense จะไม่แก้ปัญหาการ Crawl ของ Google

  การแก้ไขปัญหาที่ระบุในหน้าการอนุญาต Crawler จะไม่ส่งผลต่อตำแหน่งภายในผลการค้นหาของ Google โปรดอ่านข้อมูลเพิ่มเติมเกี่ยวกับการจัดอันดับเว็บไซต์ใน Google ที่หัวข้อการทำให้เว็บไซต์ปรากฏในผลการค้นหาของ Google

• โปรแกรมรวบรวมข้อมูลจัดทำดัชนีตาม URL

  Crawler จะเข้าถึง site.com และ www.site.com แยกกัน แต่จะไม่พิจารณา site.com และ site.com/#anchor แยกกัน

• Crawler จะไม่เข้าถึงหน้าเว็บหรือไดเรกทอรีที่ไฟล์ robots.txt ไม่อนุญาต

  Crawler ของ Google, AdSense Mediapartners-Google และ Google-Display-Ads-Bot จะยึดตามไฟล์ robots.txt หากไฟล์ robots.txt ห้ามไม่ให้มีการเข้าถึงหน้าเว็บบางหน้าหรือไดเรกทอรีบางรายการ ระบบจะไม่รวบรวมข้อมูลหน้าเว็บหรือไดเรกทอรีนั้น

  โปรดทราบว่าหากคุณแสดงโฆษณาในหน้าเว็บที่มีการป้องกันด้วย robots.txt ที่มีบรรทัด User-agent: * Crawler ของ AdSense จะยังคงทำการ Crawl หน้าเว็บเหล่านี้ หากต้องการป้องกันไม่ให้ Crawler ของ AdSense เข้าถึงหน้าเว็บ คุณจะต้องรวมสิ่งต่อไปนี้ไว้ในไฟล์ robots.txt

  User-agent: Mediapartners-Google

  User-agent: Google-Display-Ads-Bot

• Crawler จะพยายามเข้าถึง URL เฉพาะเมื่อมีการติดตั้งแท็กโฆษณาของเรา

  เฉพาะหน้าเว็บที่แสดงโฆษณา Google จะสามารถส่งคำขอไปยังระบบของเราและได้รับการ Crawl

• Crawler จะพยายามเข้าถึงหน้าเว็บที่เปลี่ยนเส้นทาง

  เมื่อคุณมี "หน้าเว็บเดิม" ที่เปลี่ยนเส้นทางไปยังหน้าเว็บใหม่ Crawler ต้องเข้าถึงหน้าเว็บเดิมเพื่อพิจารณาว่ามีการเปลี่ยนเส้นทางหรือไม่ ดังนั้นการไปยังหน้าเว็บเดิมของ Crawler จะปรากฏในบันทึกการเข้าถึง

• ไม่มีการควบคุมความถี่ที่ Crawler จะจัดทําดัชนีเนื้อหาเว็บไซต์

  ปัจจุบันเราไม่สามารถควบคุมการ Crawl เว็บไซต์ซ้ำ ทั้งนี้บ็อตของเราจะทำการ Crawl โดยอัตโนมัติ หากคุณทำการเปลี่ยนแปลงในหน้าเว็บ การเปลี่ยนแปลงนั้นอาจใช้เวลา 1-2 สัปดาห์จึงจะแสดงในดัชนี