Crawler, yang juga dikenal sebagai spider atau bot, adalah software yang digunakan Google untuk memproses dan mengindeks konten halaman web. Crawler konten mengunjungi situs Anda untuk mengetahui kontennya guna menyediakan iklan yang relevan.
Berikut beberapa fakta penting yang perlu diketahui tentang crawler konten:
- Laporan crawler diperbarui setiap minggu.
Crawling dijalankan secara otomatis dan kami tidak dapat memenuhi permintaan agar crawling dilakukan lebih sering. - Crawler konten berbeda dengan crawler Google.
Kedua crawler tersebut terpisah, tetapi menggunakan cache yang sama. Kami merancangnya demikian agar kedua crawler tersebut tidak meminta halaman yang sama, sehingga membantu penayang iklan menghemat bandwidth. Sama halnya, crawler Search Console pun terpisah. - Mengatasi masalah crawler konten tidak akan menyelesaikan masalah crawler Google.
Mengatasi masalah yang tercantum di halaman Akses crawler tidak akan memengaruhi penempatan iklan Anda dalam hasil penelusuran Google. Untuk informasi lebih lanjut tentang peringkat situs Anda di Google, tinjau artikel AdSense tentang cara agar disertakan di hasil penelusuran Google. - Crawler melakukan pengindeksan berdasarkan URL.
Crawler kami akan mengakses site.com dan www.site.com secara terpisah. Namun, crawler kami tidak akan menghitung site.com dan site.com/#anchor secara terpisah. - Crawler tidak akan mengakses halaman atau direktori yang dilarang oleh file robots.txt.
Crawler Google dan AdMob Mediapartners akan mematuhi file robots.txt Anda. Jika file robot.txt Anda melarang akses ke halaman atau direktori tertentu, halaman atau direktori tersebut tidak akan di-crawl.Perhatikan bahwa jika Anda menayangkan iklan di halaman yang dilindungi dari akses crawler menggunakan baris User-agent: *, crawler konten akan tetap meng-crawl halaman tersebut. Untuk mencegah crawler konten agar tidak mengakses halaman tersebut, Anda harus mencantumkanUser-agent: Mediapartners-Googledi file robots.txt. Pelajari lebih lanjut. - Crawler akan mencoba mengakses URL hanya di tempat tag iklan kami diterapkan.
Hanya halaman yang menampilkan iklan Google yang harus mengirimkan permintaan ke sistem kami dan di-crawl. - Crawler akan mencoba mengakses halaman yang melakukan pengalihan.
Jika Anda memiliki "halaman awal" yang mengalihkan ke halaman lain, crawler kami harus mengakses halaman awal tersebut untuk mengetahui apakah pengalihan diterapkan. Oleh karena itu, kunjungan crawler kami ke halaman awal tersebut akan muncul di log akses Anda. - Crawling ulang situs
Saat ini, kami tidak dapat mengontrol seberapa sering crawler kami mengindeks konten di situs Anda. Crawling dilakukan otomatis oleh bot kami. Jika Anda membuat perubahan pada sebuah halaman, mungkin perlu waktu hingga 1 atau 2 minggu agar perubahan tersebut tercermin dalam indeks kami.