Tingkatkan pendapatan dari konten Anda dengan situs yang dapat di-crawl sepenuhnya. Untuk memastikan Anda telah mengoptimalkan situs untuk di-crawl, pertimbangkan semua masalah di bawah ini yang mungkin memengaruhi kemampuan situs Anda untuk di-crawl.
Memberikan akses kepada crawler Google di robots.txt
Untuk memastikan kami dapat meng-crawl situs Anda, pastikan Anda telah memberikan akses ke crawler Google.
Jika Anda memodifikasi file robots.txt situs Anda untuk melarang crawler Ad Manager mengindeks halaman Anda, kami tidak dapat menayangkan iklan Google di halaman tersebut. Perbarui file robots.txt untuk memberi crawler kami akses ke halaman Anda.
Hapus dua baris teks berikut dari file robots.txt Anda:
User-agent: Mediapartners-Google
Disallow: /Perubahan ini memungkinkan crawler kami mengindeks konten situs Anda dan memberi Anda iklan Google.
Setiap perubahan yang Anda lakukan pada file robots.txt mungkin tidak terlihat dalam indeks kami, hingga crawler kami mencoba mengunjungi situs Anda lagi.
Menyediakan akses ke semua konten yang hanya dapat diakses dengan login
Jika memiliki konten yang hanya dapat diakses dengan login, pastikan Anda telah menyiapkan info login crawler.
Jika Anda belum memberikan info login ke crawler kami, crawler mungkin akan dialihkan ke halaman login, yang dapat mengakibatkan pelanggaran kebijakan "Tidak Ada Konten". Crawler juga mungkin akan menerima error 401 (Tidak Sah) atau 407 (Diperlukan Autentikasi Proxy), sehingga tidak dapat meng-crawl konten.
Error Halaman Tidak Ditemukan
Jika URL yang dikirim ke Google mengarah ke halaman yang tidak ada (atau telah dihapus) di situs, atau menampilkan error 404 ("Tidak Ditemukan"), crawler Google tidak akan berhasil meng-crawl konten apa pun.
Mengganti URL
Jika Anda mengganti URL halaman dalam tag iklan, crawler Google mungkin tidak dapat mengambil konten halaman yang meminta iklan, terutama jika URL halaman yang diganti memiliki format yang salah.
Secara umum, URL halaman yang Anda kirim ke Google dalam permintaan iklan harus sesuai dengan URL sebenarnya dari halaman yang Anda monetisasi, untuk memastikan informasi kontekstual yang tepat ditindaklanjuti oleh Google.
Masalah server nama
Jika server nama untuk domain atau subdomain Anda tidak mengarahkan crawler kami ke konten Anda dengan benar, atau memiliki batasan terkait lokasi asal permintaan, crawler kami mungkin tidak dapat menemukan konten Anda.
Pengalihan yang rusak atau duplikat
Terdapat risiko pada situs Anda yang memiliki pengalihan, yakni kami dapat mengalami kesulitan saat mengikuti URL tersebut. Misalnya, jika ada banyak pengalihan, dan pengalihan perantara gagal, atau jika parameter penting seperti cookie dihapus selama pengalihan, hal tersebut dapat menurunkan kualitas crawling.
Sebaiknya kurangi penggunaan pengalihan pada halaman yang berisi kode iklan, dan pastikan pengalihan tersebut diterapkan dengan tepat.
Masalah Webhost
Terkadang saat crawler Google mencoba mengakses konten situs, server situs tidak dapat meresponsnya secara tepat waktu. Hal ini dapat terjadi karena server sedang tidak aktif, lambat, atau kelebihan beban akibat permintaan.
Sebaiknya pastikan situs Anda dihosting di server yang andal atau oleh penyedia layanan yang andal.
Batasan geografis, jaringan, atau IP
Beberapa situs mungkin menerapkan batasan terkait geografi atau rentang IP yang dapat mengakses konten pada situs tersebut. Beberapa situs juga dapat menghosting konten di jaringan atau rentang IP yang dibatasi (misalnya 127.0.0.1).
Jika batasan ini mengakibatkan crawler Google tidak dapat mengakses semua halaman Anda, sebaiknya hapus batasan tersebut atau jadikan konten Anda dapat diakses oleh publik agar URL dapat di-crawl.
Konten yang baru dipublikasikan
Saat memublikasikan halaman baru, Anda dapat mengajukan permintaan iklan sebelum crawler Google meng-crawl konten. Misalnya, situs yang memposting banyak konten baru mencakup situs berita, situs dengan konten buatan pengguna, situs dengan inventaris produk yang besar, situs cuaca, dan lainnya.
Biasanya setelah permintaan iklan diajukan pada URL baru, konten akan di-crawl dalam beberapa menit. Namun, selama beberapa menit awal ini, Anda mungkin menerima volume iklan yang rendah karena konten belum di-crawl.
Halaman yang dipersonalisasi dengan parameter URL atau jalur URL yang dihasilkan secara dinamis
Beberapa situs menyertakan parameter tambahan di URL-nya, yang menunjukkan pengguna yang login (misalnya SessionID), atau informasi lainnya yang mungkin bersifat khusus untuk setiap kunjungan. Jika ini terjadi, crawler Google dapat memperlakukan URL tersebut sebagai halaman baru, meskipun kontennya sama. Hal ini dapat menyebabkan jeda beberapa menit antara permintaan iklan pertama pada halaman dan saat halaman di-crawl, serta peningkatan beban crawler pada server Anda.
Jika konten di suatu halaman tidak berubah, sebaiknya hapus parameter tersebut dari URL dan kirimkan informasi tersebut ke server web Anda dengan cara lain.
Struktur URL yang lebih sederhana membantu menjadikan situs Anda mudah di-crawl.
Data POST
Jika situs Anda mengirimkan data POST bersama URL (misalnya mengirimkan data formulir melalui permintaan POST), situs tersebut mungkin akan menolak permintaan yang tidak disertai dengan data POST. Perlu diketahui bahwa karena crawler Google tidak akan memberikan data POST apa pun, penyiapan seperti itu akan mencegah crawler mengakses halaman Anda.
Jika konten halaman sangat bergantung pada data yang dimasukkan pengguna ke formulir, sebaiknya gunakan permintaan GET.
