Telusuri
Hapus penelusuran
Tutup penelusuran
Aplikasi Google
Menu utama

Mengelola situs web

Error pada crawler AdSense

Memastikan situs Anda dapat di-crawl sepenuhnya bisa membantu Anda meningkatkan pendapatan dari konten. Untuk memastikan Anda telah mengoptimalkan situs untuk di-crawl, pertimbangkan semua masalah di bawah ini yang mungkin memengaruhi hal tersebut. Pelajari lebih lanjut crawler AdSense.

Memberikan akses ke crawler Google dalam robots.txt

Untuk memastikan kami dapat meng-crawl situs Anda, pastikan Anda telah memberikan akses ke crawler Google. Ini berarti mengaktifkan crawler Google di robots.txt Anda. Untuk petunjuk cara melakukannya, lihat: Memberikan akses ke crawler kami dalam file robots.txt.

Menyediakan akses ke semua konten yang hanya dapat diakses dengan login

Jika memiliki konten yang hanya dapat diakses dengan login, pastikan Anda telah menyiapkan login crawler. Jika Anda belum memberikan login untuk crawler kami, kemungkinan crawler dialihkan ke halaman login, yang dapat mengakibatkan pelanggaran kebijakan "Tidak ada konten", atau crawler kami menerima error 401 (Tidak Sah) atau 407 (Autentikasi Proxy Diperlukan), sehingga tidak dapat meng-crawl konten.

Halaman tidak ditemukan

Jika URL yang dikirim ke Google mengarah ke halaman yang tidak ada (atau tidak lagi tersedia) di situs, atau menghasilkan error 404 (Tidak Ditemukan), crawler Google tidak akan berhasil meng-crawl konten apa pun.

Mengganti URL

Jika Anda mengganti URL halaman dalam tag iklan, crawler Google mungkin tidak dapat mengambil konten halaman yang meminta iklan, terutama jika URL halaman yang ditimpa memiliki format yang salah. Secara umum, URL halaman yang Anda kirim ke Google dalam permintaan iklan harus sesuai dengan URL sebenarnya dari halaman yang Anda monetisasi, untuk memastikan informasi kontekstual yang tepat sedang ditindaklanjuti oleh Google.

Masalah server nama

Jika server nama untuk domain atau subdomain Anda tidak mengarahkan crawler kami ke konten Anda dengan benar, atau memiliki batasan terkait lokasi asal permintaan, crawler kami mungkin tidak dapat menemukan konten Anda.

Menerapkan pengalihan

Jika situs Anda memiliki pengalihan, ada risiko bahwa crawler kami dapat mengalami masalah untuk menindaklanjutinya. Misalnya, jika ada banyak pengalihan, dan pengalihan perantara gagal, atau jika parameter penting seperti cookie dihapus selama pengalihan, hal tersebut dapat menurunkan kualitas crawling. Pertimbangkan untuk meminimalkan penggunaan pengalihan pada halaman dengan kode iklan, dan memastikan pengalihan diterapkan dengan benar.

Masalah hosting

Terkadang saat crawler Google mencoba mengakses konten situs, server situs tidak dapat meresponsnya secara tepat waktu. Hal ini dapat terjadi karena server sedang tidak aktif, lambat, atau kelebihan beban akibat permintaan. Sebaiknya pastikan situs Anda dihosting di server yang andal atau oleh penyedia layanan yang andal.

Batasan geografis, jaringan, atau IP

Beberapa situs mungkin menerapkan batasan yang membatasi geografi atau rentang IP yang dapat mengakses konten mereka, atau memiliki konten yang dihosting di jaringan atau rentang IP yang dibatasi (misalnya, 127.0.0.1). Jika batasan ini mengakibatkan crawler Google tidak dapat mengakses semua halaman Anda, sebaiknya hapus batasan tersebut atau jadikan konten Anda dapat diakses oleh publik agar URL dapat di-crawl.

Konten yang baru dipublikasikan

Saat memublikasikan halaman baru, Anda dapat mengajukan permintaan iklan sebelum crawler Google meng-crawl konten. Contoh situs yang memposting banyak konten baru mencakup situs dengan konten buatan pengguna, artikel berita, inventaris produk yang besar, atau situs cuaca. Biasanya setelah permintaan iklan diajukan pada URL baru, konten akan di-crawl dalam beberapa menit. Namun, selama beberapa menit awal ini, karena konten Anda belum di-crawl, Anda mungkin menerima volume iklan yang rendah.

Halaman yang dipersonalisasi (menggunakan parameter URL atau jalur URL yang dihasilkan secara dinamis)

Beberapa situs menyertakan parameter tambahan di URL mereka yang menunjukkan pengguna yang login (misalnya, ID Sesi), atau informasi lain yang mungkin unik untuk setiap kunjungan. Jika ini terjadi, crawler Google mungkin memperlakukan URL sebagai halaman baru, meskipun kontennya sama. Hal ini dapat menyebabkan jeda beberapa menit antara permintaan iklan pertama pada halaman dan saat halaman di-crawl, serta peningkatan beban crawler pada server Anda. Umumnya, jika konten pada halaman tidak berubah, pertimbangkan untuk menghapus parameter dari URL dan mencari cara lain agar parameter dari URL tersebut tetap ada. Memiliki struktur URL yang lebih sederhana membantu menjadikan situs Anda mudah di-crawl.

Menggunakan data POST

Jika situs Anda mengirimkan data POST beserta URL-nya (misalnya, mengirimkan data formulir melalui permintaan POST), situs mungkin menolak permintaan yang tidak disertai data POST. Perhatikan bahwa karena crawler Google tidak akan menyediakan data POST apa pun, penyiapan seperti itu akan mencegah crawler mengakses halaman Anda. Jika konten halaman ditentukan oleh data yang dimasukkan pengguna ke formulir, sebaiknya gunakan permintaan GET.

Apakah artikel ini membantu?
Bagaimana cara meningkatkannya?
false