Crawler, yang juga disebut sebagai spider atau bot, adalah software yang digunakan Google untuk memproses dan mengindeks konten halaman web. Crawler Ad Manager mengunjungi situs Anda untuk mengetahui konten situs demi menyediakan iklan yang relevan.
Berikut ini beberapa fakta penting yang perlu Anda ketahui tentang crawler Ad Manager:
- Crawler Ad Manager berbeda dari crawler Google. Keduanya merupakan crawler yang berbeda, tetapi memakai cache yang sama. Kami melakukan ini untuk menghindari kedua crawler meminta halaman yang sama, sehingga membantu penayang menghemat bandwidth. Crawler Alat Webmaster juga terpisah.
- Menyelesaikan masalah crawl Ad Manager tidak sama dengan menyelesaikan masalah crawl Google. Penempatan dalam hasil penelusuran Google tidak akan terpengaruh jika Anda menyelesaikan masalah dengan crawler Ad Manager. Untuk informasi selengkapnya terkait peringkat situs Anda di Google, tinjau artikel kami mengenai cara untuk diikutsertakan dalam hasil penelusuran Google.
- Crawler mengindeks berdasarkan URL. Crawler kami mendapatkan akses terpisah ke site.com dan
www.site.com. Namun, crawler kami tidak menganggapsite.comdansite.com/#anchorsebagai URL yang berbeda. - Crawler tidak mengakses halaman atau direktori yang dilarang oleh file robots.txt. Baik crawler partner Google maupun Ad Manager mengikuti aturan dalam file robots.txt Anda. Oleh karena itu, jika file robot.txt melarang akses ke halaman atau direktori tertentu, halaman atau direktori tersebut tidak akan di-crawl.
Jika Anda menayangkan iklan pada halaman yang dikecualikan dalam file robots.txt dengan baris
User-agent: *, crawler Ad Manager akan tetap meng-crawl halaman tersebut. Untuk mencegah crawler Ad Manager mengakses halaman Anda, Anda harus mencantumkanUser-agent: Mediapartners-Googledi file robots.txt file Anda.Pelajari lebih lanjut cara memberikan akses crawler di file robots.txt Anda.
- Crawler akan mencoba mengakses URL hanya di tempat tag iklan kami diterapkan. Hanya halaman yang menampilkan iklan Google yang boleh mengirim permintaan ke sistem kami dan di-crawl.
- Crawler akan mencoba mengakses halaman yang melakukan pengalihan. Jika Anda memiliki 'halaman awal' yang melakukan pengalihan ke halaman lain, crawler kami harus mengakses halaman awal untuk mengetahui apakah terjadi pengalihan. Oleh karena itu, kunjungan crawler kami ke halaman asal akan muncul di log akses Anda.
- Meng-crawl ulang situs. Pada saat ini, kami tidak dapat mengontrol seberapa sering crawler kami mengindeks konten di situs Anda. Crawling dilakukan secara otomatis oleh bot kami. Perubahan yang Anda lakukan pada halaman dapat memerlukan waktu 1 hingga 2 minggu untuk terlihat dalam indeks kami.
