Crawler หรือที่เรียกว่าสไปเดอร์หรือบอต เป็นซอฟต์แวร์ที่ Google ใช้เพื่อประมวลผลและจัดทำดัชนีเนื้อหาของหน้าเว็บ Crawler ของ AdSense จะไปยังเว็บไซต์ของคุณเพื่อพิจารณาเนื้อหาและนำเสนอโฆษณาที่เกี่ยวข้อง
ต่อไปนี้เป็นข้อเท็จจริงสำคัญบางประการที่ควรทราบเกี่ยวกับโปรแกรมรวบรวมข้อมูลของ AdSense
- รายงานของ Crawler จะได้รับการอัปเดตทุกสัปดาห์
การ Crawl จะดำเนินการโดยอัตโนมัติและเราไม่สามารถตอบรับคำขอสำหรับการรวบรวมข้อมูลบ่อยขึ้นได้
- โปรแกรมรวบรวมข้อมูลของ AdSense แตกต่างจากโปรแกรมรวบรวมข้อมูลของ Google
Crawler 2 ชนิดนี้แยกต่างหากกัน แต่ใช้แคชร่วมกัน วิธีนี้เป็นการหลีกเลี่ยงไม่ให้ Crawler ทั้งสองเรียกใช้หน้าเว็บเดียวกัน จึงช่วยให้ผู้เผยแพร่โฆษณาประหยัดแบนด์วิดท์ได้ ในทำนองเดียวกัน โปรแกรมรวบรวมข้อมูลของ Search Console ก็แยกกันด้วย
- การแก้ปัญหาการ Crawl ของ AdSense จะไม่แก้ปัญหาของการรวบรวมข้อมูลของ Google
การแก้ไขปัญหาที่แสดงในหน้าเว็บการอนุญาต Crawler จะไม่ส่งผลกระทบต่อตำแหน่งภายในผลการค้นหาของ Google โปรดอ่านข้อมูลเพิ่มเติมเกี่ยวกับการจัดอันดับเว็บไซต์ของคุณใน Google ที่หัวข้อการทำให้เว็บไซต์ปรากฏในผลการค้นหาของ Google
- โปรแกรมรวบรวมข้อมูลจัดทำดัชนีตาม URL
Crawler ของเราจะเข้าถึง site.com และ www.site.com แยกต่างหากกัน อย่างไรก็ตาม Crawler จะไม่พิจารณา site.com และ site.com/#anchor แยกต่างหากกัน
- Crawler จะไม่เข้าถึงหน้าเว็บหรือไดเรกทอรีที่ไฟล์ robots.txt ไม่อนุญาต
Crawler ของทั้ง Google และ AdSense Mediapartners จะอ้างอิงตามไฟล์ robots.txt ของคุณ หากไฟล์ robots.txt ห้ามไม่ให้มีการเข้าถึงหน้าเว็บบางหน้าหรือไดเรกทอรีบางรายการ ระบบจะไม่รวบรวมข้อมูลหน้าเว็บหรือไดเรกทอรีนั้น
โปรดทราบว่าหากคุณแสดงโฆษณาในหน้าเว็บที่มีการป้องกันด้วย robots.txt ที่มีบรรทัดUser-agent: *Crawler ของ AdSense จะยังคงทำการ Crawl หน้าเว็บเหล่านี้ หากต้องการป้องกันไม่ให้ Crawler ของ AdSense เข้าถึงหน้าเว็บ คุณจะต้องระบุUser-agent: Mediapartners-Googleในไฟล์ robots.txt - Crawler จะพยายามเข้าถึง URL เฉพาะเมื่อมีการติดตั้งแท็กโฆษณาของเรา
เฉพาะหน้าเว็บที่แสดงโฆษณา Google จะสามารถส่งคำขอไปยังระบบของเราและถูกทำการ Crawl
- Crawler จะพยายามเข้าถึงหน้าเว็บที่เปลี่ยนเส้นทาง
เมื่อคุณมี "หน้าเว็บเดิม" ที่เปลี่ยนเส้นทางไปยังหน้าเว็บใหม่ Crawler ของเราต้องเข้าถึงหน้าเว็บเดิมเพื่อพิจารณาว่ามีการเปลี่ยนเส้นทางหรือไม่ ดังนั้นการไปยังหน้าเดิมของ Crawler จะปรากฏในบันทึกการเข้าถึง
- ไม่มีการควบคุมความถี่ที่ Crawler จะจัดทําดัชนีเนื้อหาเว็บไซต์
ปัจจุบันเราไม่สามารถควบคุมการ Crawl เว็บไซต์ซ้ำ ทั้งนี้บ็อตของเราจะทำการ Crawl โดยอัตโนมัติ หากคุณทำการเปลี่ยนแปลงในหน้าเว็บ การเปลี่ยนแปลงนั้นอาจใช้เวลา 1-2 สัปดาห์จึงจะแสดงในดัชนี