Tentang crawler iklan AdSense

Crawler, yang juga dikenal sebagai spider atau bot, adalah software yang digunakan Google untuk memproses dan mengindeks konten halaman web. Crawler AdSense mengunjungi situs Anda untuk mengetahui kontennya guna menyediakan iklan yang relevan.

Berikut beberapa fakta penting yang perlu Anda ketahui tentang crawler AdSense:

• Laporan crawler diperbarui setiap minggu.

  Crawl dijalankan secara otomatis dan kami tidak dapat memenuhi permintaan untuk menjalankan crawl secara lebih sering.

• Perayap AdSense berbeda dengan perayap Google.

  Kedua crawler tersebut terpisah, tetapi memiliki cache yang sama. Kami merancangnya demikian agar kedua crawler tersebut tidak meminta halaman yang sama, sehingga membantu penayang iklan menghemat bandwidth. Demikian pula, perayap Search Console yang terpisah.

• Mengatasi masalah crawl AdSense tidak akan menyelesaikan masalah crawler Google.

  Mengatasi masalah yang tercantum di halaman Akses crawler tidak akan berdampak pada penempatan Anda dalam hasil penelusuran Google. Untuk informasi selengkapnya tentang peringkat situs Anda di Google, tinjau entri kami tentang cara agar disertakan di hasil penelusuran Google.

• Indeks perayap menurut URL.

  Crawler kami akan mengakses site.com dan www.site.com secara terpisah. Namun, crawler kami tidak akan menghitung site.com dan site.com/#anchor secara terpisah.

• Crawler tidak akan mengakses halaman atau direktori yang dilarang oleh file robots.txt.

  Crawler Mediapartner Google dan AdSense akan mematuhi file robots.txt Anda. Jika file robot.txt Anda melarang akses ke halaman atau direktori tertentu, halaman atau direktori tersebut tidak akan di-crawl.

  Catatan: Jika Anda menayangkan iklan di halaman yang diblokir file robot.txt dengan baris User-agent: *, crawler AdSense akan tetap meng-crawl halaman tersebut. Untuk mencegah crawler AdSense mengakses halaman, Anda perlu menentukan User-agent: Mediapartners-Google di file robots.txt.
• Crawler akan mencoba mengakses URL hanya jika tag iklan kami diterapkan.

  Hanya halaman yang menampilkan iklan Google yang harus mengirimkan permintaan ke sistem kami dan di-crawl

• Crawler akan mencoba mengakses halaman yang melakukan pengalihan.

  Jika Anda memiliki "halaman awal" yang melakukan pengalihan ke halaman lain, crawler kami harus mengakses halaman awal tersebut untuk mengetahui apakah pengalihan diterapkan. Oleh karena itu, kunjungan crawler kami ke halaman awal tersebut akan muncul di log akses Anda.

• Frekuensi crawler mengindeks konten situs tidak dapat dikontrol.

  Saat ini, kami tidak memiliki kontrol atas crawling ulang situs. Crawling dilakukan otomatis oleh bot kami. Jika Anda membuat perubahan pada sebuah halaman, mungkin perlu waktu hingga 1 atau 2 minggu agar perubahan tersebut tercermin dalam indeks kami.