Tentang crawler Ad Manager

Crawler, yang juga disebut sebagai spider atau bot, adalah software yang digunakan Google untuk memproses dan mengindeks konten halaman web. Crawler Ad Manager mengunjungi situs Anda untuk mengetahui konten situs demi menyediakan iklan yang relevan.

Berikut ini beberapa fakta penting yang perlu diketahui tentang crawler Ad Manager:

• Crawler Ad Manager berbeda dari crawler Google. Kedua crawler tersebut berbeda, tetapi memakai cache yang sama. Kami melakukan ini untuk mencegah kedua crawler meminta halaman yang sama, sehingga membantu penayang menghemat bandwidth mereka. Search Console juga berbeda.
• Menyelesaikan masalah crawl Ad Manager tidak sama dengan menyelesaikan masalah crawl Google. Penempatan iklan Anda dalam hasil penelusuran Google tidak akan terpengaruh jika Anda menyelesaikan masalah crawler Ad Manager. Untuk mengetahui informasi selengkapnya tentang peringkat situs Anda di Google, tinjau informasi kami tentang cara agar situs diikutsertakan dalam hasil penelusuran Google.
• Crawler mengindeks berdasarkan URL. Crawler kami mendapatkan akses terpisah ke site.com dan www.site.com. Namun, crawler kami tidak menganggap site.com dan site.com/#anchor sebagai URL yang berbeda.
• Crawler tidak mengakses halaman atau direktori yang dilarang oleh file robots.txt. Baik crawler partner Google maupun Ad Manager mengikuti aturan dalam file robots.txt Anda. Oleh karena itu, jika file robots.txt Anda melarang akses ke halaman atau direktori tertentu, halaman atau direktori tersebut tidak akan di-crawl.

  Jika Anda menayangkan iklan pada halaman yang dikecualikan dalam file robots.txt dengan baris User-agent: *, crawler Ad Manager akan tetap melakukan crawling pada halaman tersebut. Untuk mencegah crawler Ad Manager mengakses halaman Anda, Anda harus mencantumkan User-agent: Mediapartners-Google di file robots.txt Anda.

  Pelajari lebih lanjut cara memberikan akses crawler di file robots.txt Anda.

• Crawler akan mencoba mengakses URL hanya di tempat tag iklan kami diterapkan. Hanya halaman yang menampilkan iklan Google yang boleh mengirim permintaan ke sistem kami dan di-crawl.
• Crawler akan mencoba mengakses halaman yang dialihkan. Jika Anda memiliki 'halaman asli' yang dialihkan ke halaman lain, crawler kami harus mengakses halaman asli untuk mengetahui apakah terjadi pengalihan. Oleh karena itu, kunjungan crawler kami ke halaman asli akan muncul di log akses Anda.
• Meng-crawl ulang situs. Pada saat ini, kami tidak dapat mengontrol seberapa sering crawler kami mengindeks konten di situs Anda. Crawling dilakukan secara otomatis oleh bot kami. Perubahan yang Anda lakukan pada halaman dapat memerlukan waktu 1 hingga 2 minggu untuk terlihat dalam indeks kami.