โปรแกรมรวบรวมข้อมูลหรือที่เรียกว่าสไปเดอร์หรือบ็อต เป็นซอฟต์แวร์ที่ Google ใช้เพื่อประมวลผลและจัดทำดัชนีเนื้อหาในหน้าเว็บ โปรแกรมรวบรวมข้อมูลเนื้อหาจะเข้าถึงเว็บไซต์เพื่อพิจารณาเนื้อหาและแสดงโฆษณาที่เกี่ยวข้อง
ข้อเท็จจริงสําคัญที่ควรทราบเกี่ยวกับโปรแกรมรวบรวมข้อมูลเนื้อหามีดังนี้
- รายงานของโปรแกรมรวบรวมข้อมูลมีการอัปเดตทุกสัปดาห์
การรวบรวมข้อมูลจะเกิดขึ้นโดยอัตโนมัติและเราไม่สามารถดำเนินการตามคำขอให้รวบรวมข้อมูลบ่อยขึ้นได้ - โปรแกรมรวบรวมข้อมูลเนื้อหาแตกต่างจากโปรแกรมรวบรวมข้อมูลของ Google
โปรแกรมรวบรวมข้อมูล 2 ชนิดนี้เป็นคนละโปรแกรม แต่ใช้แคชร่วมกัน วิธีนี้เป็นการหลีกเลี่ยงไม่ให้โปรแกรมรวบรวมข้อมูลทั้งสองเรียกใช้หน้าเว็บเดียวกัน จึงช่วยให้ผู้เผยแพร่โฆษณาประหยัดแบนด์วิดท์ได้ ในทำนองเดียวกัน โปรแกรมรวบรวมข้อมูลของ Search Console ก็เป็นอีกโปรแกรมที่แยกออกไปต่างหาก - การแก้ปัญหาเกี่ยวกับโปรแกรมรวบรวมข้อมูลเนื้อหาไม่ได้เป็นการแก้ปัญหาการรวบรวมข้อมูลของ Google
การแก้ไขปัญหาที่แสดงในหน้าการเข้าถึงของโปรแกรมรวบรวมข้อมูลจะไม่ส่งผลต่อตำแหน่งในผลการค้นหาของ Google ดูข้อมูลเพิ่มเติมเกี่ยวกับการจัดอันดับเว็บไซต์ใน Google ได้จากบทความของ AdSense หัวข้อการทำให้เว็บไซต์ปรากฏในผลการค้นหาของ Google - โปรแกรมรวบรวมข้อมูลจัดทำดัชนีตาม URL
โปรแกรมรวบรวมข้อมูลจะเข้าถึง site.com และ www.site.com แยกกัน แต่จะไม่พิจารณา site.com และ site.com/#anchor แยกกัน - โปรแกรมรวบรวมข้อมูลจะไม่เข้าถึงหน้าเว็บหรือไดเรกทอรีที่ไฟล์ robots.txt ไม่อนุญาต
โปรแกรมรวบรวมข้อมูลของทั้ง Google และ AdMob Mediapartners ยอมรับไฟล์ robots.txt หากไฟล์ robots.txt ห้ามไม่ให้มีการเข้าถึงหน้าเว็บบางหน้าหรือไดเรกทอรีบางรายการ ระบบจะไม่รวบรวมข้อมูลหน้าเว็บหรือไดเรกทอรีนั้นโปรดทราบว่าหากแสดงโฆษณาในหน้าเว็บที่มีการป้องกันด้วย robots.txt ที่มีบรรทัด User-agent: * โปรแกรมรวบรวมข้อมูลเนื้อหาจะยังคงรวบรวมข้อมูลหน้าเว็บเหล่านี้ หากต้องการป้องกันไม่ให้โปรแกรมรวบรวมข้อมูลเข้าถึงหน้าเว็บ คุณต้องระบุUser-agent: Mediapartners-Googleในไฟล์ robots.txt ดูข้อมูลเพิ่มเติม - โปรแกรมรวบรวมข้อมูลจะพยายามเข้าถึง URL เฉพาะเมื่อมีการใช้แท็กโฆษณา
เฉพาะหน้าเว็บที่แสดงโฆษณา Google สามารถส่งคำขอมายังระบบของเราและได้รับการรวบรวมข้อมูล - โปรแกรมรวบรวมข้อมูลจะพยายามเข้าถึงหน้าเว็บที่เปลี่ยนเส้นทาง
เมื่อคุณมี "หน้าเดิม" ที่เปลี่ยนเส้นทางไปยังหน้าเว็บใหม่ โปรแกรมรวบรวมข้อมูลจะต้องเข้าถึงหน้าเดิมเพื่อพิจารณาว่ามีการเปลี่ยนเส้นทางหรือไม่ ดังนั้นการไปยังหน้าเดิมของโปรแกรมรวบรวมข้อมูลจะปรากฏในบันทึกการเข้าถึง - การรวบรวมข้อมูลเว็บไซต์อีกครั้ง
ขณะนี้เราไม่สามารถควบคุมความถี่ที่โปรแกรมรวบรวมข้อมูลจะจัดทำดัชนีเนื้อหาในเว็บไซต์ได้ บ็อตจะรวบรวมข้อมูลโดยอัตโนมัติ หากคุณทำการเปลี่ยนแปลงในหน้าเว็บ การเปลี่ยนแปลงนั้นอาจใช้เวลา 1-2 สัปดาห์จึงจะแสดงในดัชนี