เกี่ยวกับ Crawler ของ Ad Manager

Crawler หรือที่เรียกว่าสไปเดอร์หรือบ็อต เป็นซอฟต์แวร์ที่ Google ใช้เพื่อประมวลผลและจัดทำดัชนีเนื้อหาในหน้าเว็บ Crawler ของ Ad Manager จะเข้าชมเว็บไซต์เพื่อพิจารณาเนื้อหาและแสดงโฆษณาที่เกี่ยวข้อง

ข้อเท็จจริงสำคัญบางประการที่ควรทราบเกี่ยวกับ Crawler ของ Ad Manager มีดังนี้

• Crawler ของ Ad Manager แตกต่างจาก Crawler ของ Google Crawler 2 โปรแกรมนี้แยกต่างหากกัน แต่จะใช้แคชร่วมกัน ทั้งนี้เพื่อหลีกเลี่ยงไม่ให้เรียกใช้หน้าเว็บเดียวกัน จึงช่วยให้ผู้เผยแพร่โฆษณาประหยัดแบนด์วิดท์ ในทำนองเดียวกัน Crawler ของเครื่องมือของผู้ดูแลเว็บก็แยกกันด้วย
• ปัญหาการ Crawl ของ Ad Manager ที่แก้ไขแล้วจะไม่เป็นการแก้ปัญหาการ Crawl ของ Google การแก้ปัญหา Crawler ของ Ad Manager จะไม่มีผลใดๆ ต่อตำแหน่งโฆษณาในผลการค้นหาของ Google อ่านบทความวิธีทำให้ได้รวมอยู่ในผลการค้นหาของ Google เพื่อดูข้อมูลเพิ่มเติมเกี่ยวกับการจัดอันดับเว็บไซต์ใน Google
• Crawler จัดทำดัชนีตาม URL Crawler ได้รับสิทธิ์เข้าถึง site.com และ www.site.com แยกกัน แต่จะไม่นับ site.com และ site.com/#anchor เป็น URL เดี่ยว
• Crawler จะไม่เข้าถึงหน้าเว็บหรือไดเรกทอรีที่ไฟล์ robots.txt ไม่อนุญาต ทั้ง Crawler ของพาร์ทเนอร์ Google และ Ad Manager จะยึดตามไฟล์ robots.txt ดังนั้น จะไม่มีการทำการ Crawl หากไฟล์ robots.txt ไม่อนุญาตให้เข้าถึงหน้าเว็บบางหน้าหรือไดเรกทอรีบางรายการ

  หากคุณแสดงโฆษณาในหน้าเว็บที่ใช้ไฟล์ robot ป้องกันโดยระบุบรรทัดคำสั่งเป็น User-agent: * Crawler ของ Ad Manager จะยังคงทำการ Crawl หน้าเหล่านี้ หากต้องการป้องกันไม่ให้ Crawler ของ Ad Exchange เข้าถึงหน้าเว็บ คุณจะต้องระบุ User-agent: Mediapartners-Google ในไฟล์ robots.txt

  ดูข้อมูลเพิ่มเติมเกี่ยวกับวิธีให้สิทธิ์เข้าถึงแก่โปรแกรมรวบรวมข้อมูลในไฟล์ robots.txt

• Crawler จะพยายามเข้าถึง URL เฉพาะเมื่อมีการใช้แท็กโฆษณา ควรจะมีเฉพาะหน้าเว็บที่แสดงโฆษณา Google เท่านั้นที่ส่งคำขอมาที่ระบบของเราและได้รับการ Crawl
• Crawler จะพยายามเข้าถึงหน้าเว็บที่เปลี่ยนเส้นทาง เมื่อมี "หน้าเว็บเดิม" ที่เปลี่ยนเส้นทางไปยังหน้าเว็บอื่นๆ Crawler ต้องเข้าถึงหน้าเว็บเดิมเพื่อพิจารณาว่ามีการเปลี่ยนเส้นทางหรือไม่ ดังนั้น การไปยังหน้าเว็บเดิมของ Crawler จะปรากฏในบันทึกการเข้าถึงของคุณ
• การทำการ Crawl เว็บไซต์อีกครั้ง ขณะนี้เราควบคุมไม่ได้ว่าจะให้ Crawler จัดทำดัชนีเนื้อหาในเว็บไซต์บ่อยเพียงใด การ Crawl จะทำงานโดยบ็อตแบบอัตโนมัติ หากคุณเปลี่ยนแปลงหน้าเว็บ อาจใช้เวลา 1-2 สัปดาห์ก่อนที่การเปลี่ยนแปลงดังกล่าวจะแสดงในดัชนี