Laporan Error Crawl (situs)

Error crawl situs dapat mencegah halaman Anda muncul di hasil penelusuran
Laporan ini tidak akan tersedia lagi setelah Maret 2019. Cobalah laporan Status Cakupan Indeks dan Fitur Inspeksi URL sebagai penggantinya.

Laporan Error Crawl untuk situs menyajikan detail tentang URL situs yang tidak berhasil di-crawl Google atau yang menampilkan kode error HTTP.

Buka laporan kesalahan perayapan

 

Mencari laporan Kesalahan Perayapan untuk aplikasi?

 

Laporan ini memiliki dua bagian utama:

  • Error situs: Bagian laporan ini menampilkan masalah utama selama 90 hari terakhir yang menghalangi Googlebot mengakses seluruh situs Anda. (Klik kotak mana pun untuk menampilkan diagramnya.)
     
  • Error URL: Bagian ini mencantumkan error tertentu yang dialami Google saat mencoba meng-crawl halaman ponsel atau desktop tertentu. Setiap bagian utama di laporan Kesalahan URL terkait dengan mekanisme perayapan berbeda yang digunakan Google untuk mengakses halaman Anda, dan kesalahan yang tercantum bersifat khusus untuk jenis halaman tersebut.

Ringkasan kesalahan situs

Pada situs yang dioperasikan dengan baik, bagian kesalahan Situs dari laporan Kesalahan Perayapan seharusnya tidak menampilkan kesalahan (ini berlaku untuk sebagian besar situs yang kami rayapi). Jika Google mendeteksi sejumlah kesalahan situs yang cukup banyak, kami akan mencoba menginformasikannya dalam bentuk pesan, terlepas dari ukuran situs Anda.

Saat Anda pertama kali melihat halaman Kesalahan Perayapan, bagian kesalahan Situs menampilkan kode status singkat di samping tiap kategori yaitu DNS, konektivitas Server, dan pengambilan robots.txt. Jika semua kode ditandai dengan tanda centang berwarna hijau, Anda dapat mengklik kotak untuk melihat grafik detail perayapan selama 90 hari terakhir.

Tingkat kesalahan tinggi

Jika situs Anda menampilkan tingkat kesalahan 100% dari salah satu dari tiga kategori tersebut, kemungkinan besar situs Anda nonaktif atau salah dikonfigurasi. Hal ini bisa disebabkan oleh sejumlah kemungkinan yang dapat Anda selidiki:

  • Periksa apakah pengelolaan ulang situs tidak mengubah izin untuk bagian situs Anda.
  • Jika situs Anda telah dikelola ulang, periksa apakah tautan eksternal masih bekerja.
  • Tinjau semua skrip baru untuk memastikan agar tidak terjadi malafungsi yang berulang.
  • Pastikan semua direktori ada dan tidak dipindahkan atau dihapus secara tidak sengaja.
Jika tidak ada satu pun situasi di atas yang terjadi pada situs Anda, tingkat kesalahan bisa jadi hanya merupakan lonjakan sementara, atau disebabkan oleh faktor eksternal (orang lain telah menautkan halaman yang tidak ada), jadi hal tersebut bukanlah sebuah masalah. Pada kasus apa pun, jika kami melihat sejumlah besar kesalahan yang tidak biasa, kami akan menginformasikannya agar Anda dapat menyelidiki.

Tingkat kesalahan rendah

Jika situs Anda memiliki tingkat kesalahan kurang dari 100% pada salah satu kategori, ini bisa jadi menunjukkan kondisi yang bersifat sementara, namun bisa juga situs Anda kelebihan beban atau dikonfigurasi dengan tidak benar. Anda mungkin ingin menyelediki masalah tersebut lebih lanjut, atau menanyakannya di forum kami. Kami dapat mengingatkan Anda meskipun tingkat kesalahan keseluruhannya sangat rendah — selama ini, situs yang dikonfigurasi dengan benar tidak seharusnya memiliki kesalahan apa pun di kategori ini.

Jenis kesalahan situs

Kesalahan berikut dijelaskan di bagian Situs pada laporan:

Kesalahan DNS

Apa itu kesalahan DNS?

Kesalahan DNS berarti Googlebot tidak dapat berkomunikasi dengan server DNS karena server nonaktif atau pun karena terdapat masalah dengan perutean DNS ke domain Anda. Meskipun kebanyakan peringatan atau kesalahan DNS tidak memengaruhi kemampuan Googlebot untuk mengakses situs Anda, mungkin ini adalah gejala latensi yang tinggi, yang dapat berdampak negatif terhadap pengguna.

Memperbaiki kesalahan DNS

  • Pastikan Google dapat merayapi situs Anda.
    Gunakan Ambil sebagai Google di halaman utama, seperti halaman beranda Anda. Jika konten halaman beranda dapat ditampilkan tanpa masalah, Anda dapat berasumsi bahwa Google dapat mengakses situs Anda dengan baik.
  • Untuk kesalahan DNS yang berlanjut atau tetap terjadi, periksa penyedia DNS Anda.
    Sering kali penyedia DNS dan layanan hosting web Anda sama. 
  • Konfigurasikan server Anda untuk menanggapi hostname yang tidak ada dengan kode kesalahan HTTP seperti 404 atau 500.
    Situs seperti example.com dapat dikonfigurasi dengan penyiapan DNS karakter pengganti untuk merespons permintaan foo.example.com, made-up-name.example.com, dan subdomain lainnya. Ini cukup masuk akal bila terdapat kasus yang mana situs yang berisi konten buatan pengguna memberikan domain mereka sendiri kepada tiap akun pengguna (http://username.example.com). Namun, dalam beberapa kasus, jenis konfigurasi ini dapat menyebabkan duplikasi konten yang tidak perlu di seluruh hostname lain, dan juga dapat memengaruhi perayapan Googlebot.

Daftar kesalahan DNS

Jenis Kesalahan Deskripsi
Waktu Tunggu DNS habis

Google tidak dapat mengakses situs Anda karena server DNS tidak menanggapi permintaan dengan tepat waktu.

Gunakan Ambil sebagai Google untuk memeriksa apakah Googlebot saat ini dapat merayapi situs Anda. Jika Ambil sebagai Google memunculkan konten beranda Anda tanpa masalah, Anda dapat berasumsi bahwa Google dapat mengakses situs Anda dengan semestinya.

Hubungi pendaftar Anda untuk memastikan bahwa situs Anda sudah disiapkan dengan benar dan server Anda sudah tersambung ke internet.
Pencarian DNS

Google tidak dapat mengakses situs Anda karena server DNS Anda tidak dapat mengenali hostname (misalnya www.example.com).

Gunakan Ambil sebagai Google untuk memeriksa apakah Googlebot saat ini dapat merayapi situs Anda. Jika Ambil sebagai Google memunculkan konten beranda Anda tanpa masalah, Anda dapat berasumsi bahwa Google dapat mengakses situs Anda dengan semestinya.

Hubungi pendaftar Anda untuk memastikan bahwa situs Anda sudah disiapkan dengan benar dan server Anda sudah tersambung ke internet.
Kesalahan server

Apa itu kesalahan server?

Jika Anda melihat jenis kesalahan ini untuk URL Anda, artinya Googlebot tidak dapat mengakses URL Anda, waktu permintaan habis, atau situs Anda sedang sibuk. Akibatnya, Googlebot terpaksa membatalkan permintaan.

Memperbaiki kesalahan konektivitas server

  • Kurangi pemuatan halaman yang berlebihan untuk permintaan halaman dinamis.
    Situs yang menayangkan konten yang sama untuk beberapa URL dianggap menayangkan konten secara dinamis (misalnya, www.example.com/shoes.php?color=red&size=7 menayangkan konten yang sama dengan www.example.com/shoes.php?size=7&color=red).  Halaman dinamis dapat memakan waktu yang terlalu lama untuk merespons, yang mengakibatkan masalah waktu tunggu habis. Atau, server dapat menampilkan status kelebihan beban untuk meminta Googlebot merayapi situs dengan lebih lambat. Pada umumnya, sebaiknya Anda menjaga parameter tetap pendek dan menggunakannya dengan efektif. Jika yakin tentang cara kerja parameter di situs, Anda dapat memberi tahu Google bagaimana kami seharusnya menangani perameter ini.
  • Pastikan server hosting situs Anda aktif, tidak kelebihan beban, atau tidak salah konfigurasi.
    Jika terdapat masalah sambungan, waktu tunggu, atau respons, periksa penghosting web Anda dan pertimbangkanlah untuk meningkatkan kemampuan situs Anda dalam menangani lalu lintas.
  • Periksa apakah Anda tidak sengaja memblokir Google.
    Anda mungkin telah memblokir Google karena ada masalah di tingkat sistem, seperti masalah konfigurasi DNS, firewall atau sistem perlindungan DoS yang salah konfigurasi, atau konfigurasi sistem pengelolaan konten. Sistem perlindungan merupakan bagian penting hosting yang baik dan sering kali dikonfigurasi untuk memblokir permintaan server yang sangat tinggi yang tidak biasa secara otomatis. Akan tetapi, karena Googlebot sering melakukan permintaan lebih banyak daripada pengguna manusia, tindakan ini dapat memicu sistem perlindungan tersebut, yang menyebabkannya memblokir Googlebot dan mencegahnya merayapi situs web Anda. Untuk memperbaiki masalah tersebut, identifikasi bagian mana dari infrastruktur situs web Anda yang memblokir Googlebot dan hentikan pemblokiran tersebut. Mungkin Anda tidak dapat mengontrol firewall, sehingga Anda harus membicarakannya dengan penyedia hosting.
  • Kontrol pengindeksan dan perayapan situs mesin telusur dengan bijak.
    Beberapa webmaster mencegah Googlebot merayapi situs webnya dengan sengaja, mungkin menggunakan firewall seperti yang disebutkan di atas. Dalam keadaan ini, biasanya tujuannya bukan untuk memblokir Googlebot sepenuhnya, namun untuk mengontrol cara situs dirayapi dan diindeks. Jika ini terjadi kepada Anda, periksa hal-hal berikut: Jika Anda ingin mengubah seberapa sering Googlebot merayapi situs, Anda dapat meminta perubahan di laju perayapan Googlebot. Penyedia hosting juga dapat memverifikasi kepemilikan alamat IP mereka.

Kesalahan konektivitas server

Jenis Kesalahan Deskripsi
Habis waktu

Waktu server menunggu permintaan habis.

Gunakan Ambil sebagai Google untuk memeriksa apakah Googlebot saat ini dapat merayapi situs Anda. Jika Ambil sebagai Google memunculkan konten beranda Anda tanpa masalah, Anda dapat berasumsi bahwa Google dapat mengakses situs Anda dengan semestinya.

Mungkin server Anda kelebihan beban atau salah konfigurasi. Jika masalah tetap terjadi, hubungi penyedia hosting Anda.
Header yang terpotong

Google dapat tersambung ke server Anda, namun server menutup sambungan sebelum header dikirimkan dengan lengkap. Periksa kembali nanti.

Gunakan Ambil sebagai Google untuk memeriksa apakah Googlebot saat ini dapat merayapi situs Anda. Jika Ambil sebagai Google memunculkan konten beranda Anda tanpa masalah, Anda dapat berasumsi bahwa Google dapat mengakses situs Anda dengan semestinya.

Mungkin server Anda kelebihan beban atau salah konfigurasi. Jika masalah tetap terjadi, hubungi penyedia hosting Anda.
Mengeset ulang hubungan

Server Anda berhasil memproses permintaan Google, namun tidak memunculkan konten apa pun karena sambungan dengan server disetel ulang. Periksa kembali nanti.

Gunakan Ambil sebagai Google untuk memeriksa apakah Googlebot saat ini dapat merayapi situs Anda. Jika Ambil sebagai Google memunculkan konten beranda Anda tanpa masalah, Anda dapat berasumsi bahwa Google dapat mengakses situs Anda dengan semestinya.

Mungkin server Anda kelebihan beban atau salah konfigurasi. Jika masalah tetap terjadi, hubungi penyedia hosting Anda.
Respons terpotong

Server Anda menutup sambungan sebelum kami dapat menerima respons lengkap, dan respons yang diterima tampak terpotong.

Gunakan Ambil sebagai Google untuk memeriksa apakah Googlebot saat ini dapat merayapi situs Anda. Jika Ambil sebagai Google memunculkan konten beranda Anda tanpa masalah, Anda dapat berasumsi bahwa Google dapat mengakses situs Anda dengan semestinya.

Mungkin server Anda kelebihan beban atau salah konfigurasi. Jika masalah tetap terjadi, hubungi penyedia hosting Anda.
Hubungan ditolak

Google tidak dapat mengakses situs Anda karena server menolak sambungan. Penyedia hosting Anda mungkin memblokir Googlebot, atau mungkin ada masalah dengan konfigurasi pada firewallnya.

Gunakan Ambil sebagai Google untuk memeriksa apakah Googlebot saat ini dapat merayapi situs Anda. Jika Ambil sebagai Google memunculkan konten beranda Anda tanpa masalah, Anda dapat berasumsi bahwa Google dapat mengakses situs Anda dengan semestinya.

Mungkin server Anda kelebihan beban atau salah konfigurasi. Jika masalah tetap terjadi, hubungi penyedia hosting Anda.
Sambungan gagal

Google tidak dapat tersambung ke server Anda karena jaringan tidak dapat dicapai atau sedang tidak aktif.

Mungkin server Anda kelebihan beban atau salah konfigurasi. Jika masalah tetap terjadi, hubungi penyedia hosting Anda.

Gunakan Ambil sebagai Google untuk memeriksa apakah Googlebot saat ini dapat merayapi situs Anda. Jika Ambil sebagai Google memunculkan konten beranda Anda tanpa masalah, Anda dapat berasumsi bahwa Google dapat mengakses situs Anda dengan semestinya.
Hubungan habis waktu

Google tidak dapat menyambung ke server Anda.

Gunakan Ambil sebagai Google untuk memeriksa apakah Googlebot saat ini dapat merayapi situs Anda. Jika Ambil sebagai Google memunculkan konten beranda Anda tanpa masalah, Anda dapat berasumsi bahwa Googlebot dapat mengakses situs dengan semestinya.

Periksa apakah server Anda tersambung ke internet. Mungkin juga server Anda kelebihan beban atau salah konfigurasi. Jika masalah tetap terjadi, hubungi penyedia hosting Anda.
Tidak ada respons

Google dapat tersambung ke server Anda, namun sambungan ditutup sebelum server mengirimkan data.

Gunakan Ambil sebagai Google untuk memeriksa apakah Googlebot saat ini dapat merayapi situs Anda. Jika Ambil sebagai Google memunculkan konten beranda Anda tanpa masalah, Anda dapat berasumsi bahwa Googlebot dapat mengakses situs dengan semestinya.

Mungkin server Anda kelebihan muatan atau salah konfigurasi. Jika masalah tetap terjadi, hubungi penyedia hosting Anda.
Kegagalan robot

Apa itu kegagalan robot?

Ini merupakan suatu kegagalan untuk mengambil file robots.txt situs. Sebelum Googlebot merayapi situs, dan sekitar sekali sehari setelahnya, Googlebot mengambil file robots.txt untuk melihat halaman yang seharusnya tidak dirayapi. Jika file robots.txt sudah ada namun tidak dapat terjangkau (dengan kata lain, jika tidak menampilkan kode status HTTP 200 atau 404), kami akan menunda perayapan, bukan mengambil risiko merayapi URL yang tidak ingin dirayapi. Jika ini terjadi, Googlebot akan kembali ke situs Anda dan merayapinya segera setelah kami berhasil mengakses file robots.txt Anda. Informasi selengkapnya tentang protokol pengecualian robot.

Memperbaiki kesalahan file robots.txt

  • Anda tidak selalu memerlukan file robots.txt.
    Anda hanya memerlukan file robots.txt jika situs menyertakan konten yang tidak ingin disertakan dalam pengindeksan mesin telusur. Jika ingin mesin telusur mengindeks semua yang terdapat dalam situs Anda, Anda tidak memerlukan file robots.txt—tidak juga file yang kosong. Jika Anda tidak memiliki file robots.txt, server Anda akan memunculkan 404 saat Googlebot memintanya, dan kami akan melanjutkan perayapan situs. Tidak masalah.
  • Pastikan file robots.txt Anda dapat diakses oleh Google.
    Ada kemungkinan server Anda menampilkan kesalahan 5xx (tidak terjangkau) saat kami berusaha mengambil file robots.txt. Periksa apakah penyedia hosting Anda tidak memblokir Googlebot.  Jika Anda memiliki firewall, pastikan konfigurasinya tidak memblokir Google.

Ringkasan kesalahan URL

Bagian kesalahan URL pada laporan dibagi ke dalam kategori yang menunjukkan 1.000 kesalahan URL teratas khusus kategori tersebut. Tidak setiap kesalahan yang Anda lihat di bagian ini memerlukan perhatian Anda, namun penting bagi Anda untuk memantau bagian ini untuk menemukan kesalahan yang dapat berdampak negatif terhadap pengguna Anda dan perayap Google. Kami telah mempermudah Anda dengan memberi peringkat teratas untuk masalah yang paling penting, berdasarkan faktor seperti jumlah kesalahan dan halaman yang merujuk ke URL tersebut. Secara khusus, Anda perlu mempertimbangkan hal berikut:

  • Memperbaiki error Tidak Ditemukan untuk URL penting yang menampilkan pengalihan 301. Meskipun mengalami kesalahan Tidak Ditemukan (404) itu normal, sebaiknya Anda mengatasi kesalahan untuk halaman yang penting yang ditautkan oleh situs lainnya, URL yang lebih lama yang Anda miliki di peta situs dan yang telah Anda hapus, URL yang salah eja untuk halaman penting, atau URL halaman populer yang tidak lagi ada di situs Anda. Jadi, informasi yang Anda pedulikan dapat diakses dengan mudah oleh Google dan pengunjung Anda.
  • Memperbarui peta situs.  Hapus URL lama dari peta situs, dan jika Anda menambahkan peta situs yang baru untuk mengganti yang lama, pastikan untuk menghapus peta situs lama (bukan mengalihkannya ke URL yang baru).  
  • Mempertahankan pengalihan yang bersih dan singkat.  Jika Anda memiliki sejumlah URL yang mengalihkan secara beruntun (misalnya halamanA > halamanB > halamanC > halamanD), hal ini dapat menyulitkan Googlebot untuk mengikuti dan menafsirkan urutan tersebut.  Coba pertahankan jumlah "hop (lompatan)" tetap rendah.  Baca selengkapnya tentang Tidak diikuti.

Melihat detail kesalahan URL

Anda dapat melihat kesalahan URL dalam berbagai cara:

  • Klik Download untuk mendapatkan daftar 1.000 kesalahan teratas untuk jenis perayap tersebut (misalnya desktop, ponsel cerdas).
  • Gunakan filter di atas tabel untuk menemukan URL tertentu.
  • Lihat detail error dengan mengikuti link dari masing-masing URL atau URI Aplikasi.
Tab Desktop dan Smartphone mencantumkan URL yang menghasilkan error crawl, serta status error, daftar halaman yang merujuk ke URL, dan link ke Fetch as Google sehingga Anda dapat memecahkan masalah URL tersebut.

Menandai error URL sebagai telah diperbaiki

Setelah mengatasi masalah yang menyebabkan kesalahan untuk item tertentu, Anda dapat menyembunyikannya dari daftar. Anda dapat melakukannya satu per satu atau secara massal. Pilih kotak centang di samping URL, dan klik Tandai sebagai telah diperbaiki. URL akan dibuang dari daftar. Namun, tanda ini hanya metode untuk memudahkan Anda; jika perayap Google mengalami kesalahan di perayapan berikutnya, URL akan muncul kembali di daftar saat URL dirayapi lagi.

Jenis kesalahan URL

Kesalahan URL umum
Jenis Kesalahan Deskripsi
Kesalahan Server

Jika Anda melihat jenis kesalahan ini untuk URL Anda, artinya Googlebot tidak dapat mengakses URL Anda, waktu permintaan habis, atau situs Anda sedang sibuk. Akibatnya, Googlebot terpaksa membatalkan permintaan.

Baca selengkapnya tentang kesalahan konektivitas server.
Soft 404

Biasanya, saat pengunjung meminta halaman yang tidak ada di situs Anda, server web memunculkan kesalahan 404 (tidak ditemukan). Kode tanggapan HTTP ini memberi tahu browser dan mesin telusur dengan jelas bahwa halaman tidak ada. Akibatnya, konten halaman (jika ada) tidak akan dirayapi atau diindeks oleh mesin telusur.

404 ringan terjadi saat server memunculkan halaman asli untuk URL yang sebenarnya tidak ada di situs Anda. Hal ini biasanya terjadi saat server Anda menangani URL yang rusak atau yang tidak ada sebagai "Oke", dan mengarahkan pengguna ke halaman yang valid seperti beranda atau halaman 404 "khusus".  

Ini adalah masalah karena mesin telusur mungkin menghabiskan banyak waktu untuk merayapi dan mengindeks URL yang tidak ada dan sering kali berupa duplikat di situs Anda. Hal ini berdampak negatif pada cakupan perayapan situs karena URL Anda yang unik dan asli mungkin tidak ditemukan dengan cepat atau tidak sering dikunjungi karena Googlebot menghabiskan waktu pada halaman yang tidak ada.

Jika halaman Anda benar-benar hilang dan tidak memiliki pengganti, sebaiknya Anda mengonfigurasi server untuk selalu memunculkan kode tanggapan 404 (Tidak ditemukan) atau 410 (Hilang) sebagai tanggapan untuk permintaan halaman yang tidak ada. Anda dapat meningkatkan pengalaman pengguna dengan menyiapkan halaman 404 khusus saat memunculkan kode tanggapan 404. Misalnya, Anda dapat membuat halaman yang berisi daftar halaman Anda yang paling populer, tautan ke beranda, atau tautan masukan. Tetapi, perlu diingat bahwa membuat halaman yang menampilkan pesan 404 tidaklah cukup. Anda juga harus memunculkan kode tanggapan HTTP 404 atau 410 yang benar.
404

Googlebot meminta URL yang tidak ada di situs.

Memperbaiki kesalahan 404

Kebanyakan kesalahan 404 tidak memengaruhi peringkat situs di Google, jadi Anda dapat mengabaikannya dengan aman. Biasanya, kesalahan tersebut disebabkan oleh salah ketik, salah konfigurasi situs, atau peningkatan upaya Google untuk mengenali dan merayapi tautan dalam konten tersemat, misalnya JavaScript. Berikut beberapa petunjuk untuk membantu Anda menyelidiki dan memperbaiki kesalahan 404:

  1. Tentukan apakah hal tersebut layak diperbaiki atau tidak. Banyak (sebagian besar?) kesalahan 404 tidak layak untuk diperbaiki. Berikut alasannya: Urutkan kesalahan 404 berdasarkan prioritas dan perbaiki kesalahan yang perlu diperbaiki. Anda dapat mengabaikan kesalahan lainnya karena kesalahan 404 tidak membahayakan pengindeksan dan penentuan peringkat situs.
    • Jika halaman yang dihapus tidak memiliki pengganti atau yang setara, memunculkan kesalahan 404 adalah hal yang tepat.
    • Jika ini adalah URL buruk yang dibuat oleh skrip, atau yang belum pernah ada di situs, mungkin ini adalah masalah yang tidak perlu dikhawatirkan. Hal ini mungkin mengganggu Anda saat melihatnya di laporan, tetapi Anda tidak perlu memperbaikinya, kecuali URL tersebut adalah tautan dengan kesalahan pengejaan yang umum (lihat di bawah).
  2. Lihat tempat dengan tautan tidak valid yang aktif. Klik URL untuk melihat informasi Ditautkan dari halaman ini. Perbaikan bergantung pada apakah tautan berasal dari situs Anda atau dari situs lain:
    1. Perbaiki tautan dari situs Anda yang menuju halaman yang tidak ada, atau hapus jika diperlukan.
      • Jika konten dipindahkan, tambahkan pengalihan.
      • Jika Anda telah menghapus konten secara permanen tanpa ada niatan untuk menggantinya dengan konten terkait yang lebih baru, biarkan URL lama memunculkan kesalahan 404 atau 410. Saat ini Google memperlakukan 410 (Hilang) sama dengan 404 (Tidak ditemukan). Memunculkan kode selain 404 atau 410 untuk halaman yang tidak ada (atau mengalihkan pengguna ke halaman lain, seperti beranda, dan tidak memunculkan 404) dapat menjadi masalah. Halaman semacam ini dikenal sebagai 404 ringan, serta dapat membingungkan pengguna dan mesin telusur.
      • Jika URL tidak diketahui: Terkadang Anda mungkin melihat kesalahan 404 untuk URL yang tidak pernah ada di situs Anda. URL yang tidak diharapkan ini mungkin dibuat oleh Googlebot yang mencoba mengikuti tautan yang ditemukan di JavaScript, file Flash, atau konten lain yang disematkan, atau yang mungkin hanya ada di peta situs. Misalnya, situs Anda dapat menggunakan kode seperti ini untuk melacak download-an file di Google Analytics: 
        <a href="helloworld.pdf"
  onClick="_gaq.push(['_trackPageview','/download-helloworld']);">
  Hello World PDF</a>

        Saat melihat kode ini, Googlebot mungkin mencoba merayapi URL http://www.example.com/download-helloworld, meski URL tersebut bukan halaman sebenarnya. Dalam hal ini, tautan mungkin muncul sebagai kesalahan 404 (Tidak Ditemukan) di laporan Kesalahan Perayapan. Google terus berusaha mencegah jenis kesalahan perayapan ini. Kesalahan ini tidak memengaruhi perayapan atau penentuan peringkat situs Anda.

    2. Perbaiki tautan yang ejaannya salah dari situs lain dengan pengalihan 301. Misalnya, kesalahan pengejaan URL yang sah (www.example.com/redshoos, bukan www.example.com/redshoes), mungkin terjadi jika seseorang salah mengetikkannya saat menautkan ke situs Anda. Dalam hal ini, Anda dapat mengetahui URL yang salah eja dengan membuat pengalihan 301 ke URL yang benar. Anda juga dapat menghubungi webmaster situs yang menampilkan link keliru, dan meminta agar link tersebut diubah atau dihapus.
  3. Abaikan kesalahan lainnya. Jangan membuat konten palsu, mengalihkan ke beranda, atau menggunakan robots.txt untuk memblokir URL tersebut—semua hal ini menyulitkan kami untuk mengenali struktur situs dan memprosesnya dengan benar. Kami menyebutnya kesalahan 404 ringan. Perlu diketahui bahwa dengan mengklik Masalah ini telah diperbaiki di laporan Kesalahan Perayapan hanya menyembunyikan kesalahan 404 untuk sementara; kesalahan tersebut akan muncul kembali saat Google mencoba merayapi URL tersebut di lain waktu. (Setelah berhasil merayapi URL, Google dapat mencoba merayapi URL tersebut selamanya. Pengeluaran pengalihan 300 tingkat akan menunda upaya perayapan ulang, mungkin untuk waktu yang sangat lama.)  Perlu diperhatikan bahwa mengirimkan permintaan penghapusan URL menggunakan fitur penghapusan URL tidak akan menghapus error dari laporan ini.

Jika tidak mengenali URL di situs, Anda dapat mengabaikannya. Error tersebut terjadi jika seseorang mengakses URL yang tidak ada di situs Anda - mungkin seseorang salah mengetik URL di browser, atau seseorang salah mengetik URL link. Namun, Anda mungkin ingin mengambil beberapa URL yang salah ketik tersebut seperti yang dijelaskan pada daftar di atas.
Akses ditolak

Pada umumnya, Google menemukan konten dengan mengikuti tautan dari satu halaman ke halaman lainnya. Untuk merayapi suatu halaman, Googlebot harus dapat mengakses halaman tersebut. Jika Anda melihat kesalahan Akses Ditolak yang tidak diharapkan, mungkin disebabkan oleh alasan berikut:

  • Googlebot tidak dapat mengakses URL di situs Anda karena situs mengharuskan pengguna untuk login agar dapat melihat semua atau beberapa konten.
  • Server Anda mengharuskan pengguna mengautentikasi menggunakan proxy, atau penyedia hosting mungkin memblokir Google agar tidak mengakses situs Anda.

Langkah perbaikan:

  • Uji apakah robots.txt bekerja dengan semestinya dan tidak memblokir Google. Alat Uji robots.txt memungkinkan Anda melihat bagaimana sebenarnya Googlebot akan menafsirkan konten file robots.txt Anda. Agen-pengguna Google adalah Googlebot. 
  • Gunakan Ambil sebagai Google untuk memahami bagaimana sebenarnya situs Googlebot melihat situs Anda. Alat ini akan sangat berguna saat memecahkan masalah dengan konten situs Anda atau kemampuan untuk dapat ditemukan di hasil penelusuran.
Tidak diikuti

Kesalahan Tidak diikuti mencantumkan URL yang tidak dapat diikuti Google sepenuhnya, beserta beberapa informasi tentang alasannya. Berikut beberapa alasan mengapa Googlebot tidak dapat mengikuti URL di situs Anda:

Flash, JavaScript, konten aktif

Beberapa fitur seperti JavaScript, cookie, ID sesi, frame, DHTML, atau Flash dapat mempersulit mesin telusur merayapi situs Anda. Periksa hal-hal berikut:

  • Gunakan browser teks seperti Lynx untuk memeriksa situs, karena banyak mesin telusur yang melihat situs Anda seperti yang dilihat Lynx. Jika fitur seperti JavaScript, cookie, ID sesi, frame, DHTML, atau Flash menghambat Anda melihat semua situs dalam browser teks, spider mesin telusur mungkin mengalami masalah saat meng-crawl situs Anda.
  • Gunakan Fetch as Google untuk melihat secara persis bagaimana situs Anda terlihat oleh Google.
  • Jika Anda menggunakan halaman dinamis (misalnya, jika URL Anda berisi karakter ?), perlu diketahui bahwa tidak semua spider mesin telusur akan merayapi halaman dinamis dan statis. Pada umumnya, sebaiknya Anda menjaga parameter tetap pendek dan menggunakannya dengan efektif. Jika Anda yakin tentang cara kerja parameter di situs, Anda dapat memberi tahu Google bagaimana kami seharusnya menanganinya.

Pengalihan

  • Jika Anda melakukan pengalihan permanen dari satu halaman ke halaman lain, pastikan situs Anda menampilkan kode status HTTP yang benar (301 Dialihkan Permanen).
  • Jika memungkinkan, gunakan link absolut, bukan link relatif. (Contoh, saat menautkan halaman lain ke situs Anda, tautkan ke www.example.com/mypage.html, bukan hanya mypage.html).
  • Cobalah untuk membuat setiap halaman situs Anda dapat dijangkau setidaknya dari satu tautan teks statis. Pada umumnya, minimalkan jumlah pengalihan yang diperlukan untuk mengikuti tautan dari satu halaman ke halaman lain.
  • Periksa bahwa pengalihan Anda menuju ke halaman yang benar! Terkadang kami menemukan pengalihan yang menuju ke dirinya sendiri (yang berakibat pada kesalahan pengulangan) atau ke URL yang tidak valid.
  • Jangan sertakan URL yang dialihkan dalam Peta Situs Anda.
  • Jadikan URL Anda sependek mungkin. Pastikan Anda tidak menambahkan informasi (seperti ID sesi) secara otomatis ke URL pengalihan.
  • Pastikan situs Anda memungkinkan bot penelusuran merayapi situs tanpa ID sesi atau argumen yang melacak jalurnya melalui situs.
Kesalahan DNS

Saat Anda melihat kesalahan ini untuk URL, artinya Googlebot tidak dapat berkomunikasi dengan server DNS atau server Anda tidak memiliki entri untuk situs.

Baca selengkapnya tentang kesalahan DNS.
Kesalahan URL khusus seluler (Ponsel cerdas)
Kesalahan Deskripsi
Pengalihan yang salah

Kesalahan Pengalihan yang salah muncul di bagian Kesalahan URL halaman Perayapan > Kesalahan Perayapan pada tab Ponsel Cerdas.

Beberapa situs web menggunakan URL terpisah untuk melayani pengguna desktop dan ponsel cerdas serta mengonfigurasi halaman desktop untuk mengalihkan pengguna ponsel cerdas ke situs seluler (misalnya m.example.com). Pengalihan yang salah terjadi ketika halaman desktop secara tidak tepat mengalihkan pengguna ponsel cerdas ke halaman ponsel cerdas yang tidak relevan dengan kueri pengguna. Contoh umum untuk kesalahan ini terjadi ketika semua halaman desktop mengalihkan pengguna ponsel cerdas ke beranda situs yang dioptimalkan untuk ponsel cerdas. Pada gambar di bawah, pengalihan ditampilkan dengan panah merah yang menunjukkan pengalihan yang salah:


Pengalihan semacam ini mengganggu arus kerja pengguna dan dapat menyebabkan pengguna berhenti menggunakan situs tersebut dan mencari situs lain.

Berikut adalah beberapa tips untuk membantu Anda membuat pengalaman penelusuran yang mobile-friendly dan menghindari pengalihan yang salah:

  • Lakukan beberapa penelusuran di ponsel Anda (atau setel browser Anda untuk bertindak seperti ponsel cerdas) untuk melihat perilaku situs Anda.
  • Gunakan URL contoh yang diberikan dalam laporan sebagai titik awal untuk melakukan debug secara tepat pada tempat terjadinya masalah di konfigurasi server Anda.
  • Siapkan server Anda sehingga server mengalihkan pengguna ponsel cerdas ke URL yang setara di situs ponsel cerdas.
  • Jika halaman di situs Anda tidak memiliki versi ponsel cerdas yang setara, pertahankan pengguna di halaman desktop, jangan alihkan mereka ke beranda situs ponsel cerdas. Dalam kasus ini, lebih baik Anda tidak melakukan apa-apa daripada melakukan sesuatu yang salah.
  • Pertimbangkan untuk menggunakan desain web yang responsif, yang menyajikan konten yang sama untuk pengguna desktop dan ponsel cerdas.
  • Terakhir, baca saran kami tentang memiliki URL yang terpisah untuk pengguna desktop dan ponsel cerdas.
URL diblokir untuk ponsel cerdas

Kesalahan "Diblokir" muncul pada tab bagian Kesalahan URL Ponsel Cerdas di halaman Perayapan > Kesalahan Perayapan. Jika mendapatkan kesalahan "Diblokir" untuk URL di situs Anda, itu artinya bahwa URL tersebut diblokir untuk Googlebot ponsel cerdas di file robots.txt situs Anda.

Hal ini belum tentu merupakan kesalahan khusus ponsel cerdas (misalnya, halaman desktop yang sama juga dapat diblokir). Namun, hal ini sering mengindikasikan bahwa file robots.txt perlu dimodifikasi untuk memungkinkan perayapan URL yang mengaktifkan ponsel cerdas. Saat URL yang mengaktifkan ponsel cerdas diblokir, halaman seluler tidak dapat dirayapi dan karena hal ini, halaman tersebut tidak dapat muncul di hasil penelusuran.

Jika Anda mendapatkan kesalahan perayapan ponsel cerdas "Diblokir" untuk URL di situs Anda, periksa file robots.txt situs Anda, dan pastikan bahwa Anda tidak memblokir bagian situs secara tidak sengaja agar tidak dirayapi Googlebot untuk ponsel cerdas.

Untuk informasi selengkapnya, lihat saran kami.
Konten Flash

Kesalahan konten Flash muncul di bagian Kesalahan URL halaman Perayapan > Kesalahan Perayapan pada tab Ponsel Cerdas.

Algoritme kami mencantumkan URL di bagian ini sebagai URL dengan konten yang sebagian besar dirender di Flash. Banyak perangkat tidak dapat merender halaman ini karena Flash tidak didukung oleh iOS atau Android versi 4.1 dan yang lebih tinggi.

Sebaiknya tingkatkan pengalaman seluler untuk situs web dengan menggunakan desain web responsif untuk situs Anda, praktik yang disarankan oleh Google untuk membuat situs yang ramah penelusuran untuk semua perangkat.  Anda dapat mempelajari lebih lanjut tentang ini di Dasar-Dasar Web, sumber daya yang komprehensif untuk pengembangan web multiperangkat.

Terlepas dari pendekatan apa pun yang Anda lakukan untuk mengatasi masalah ini, pastikan untuk mengizinkan Googlebot mengakses semua aset situs Anda (CSS, JavaScript, dan gambar) dan jangan memblokirnya menggunakan robots.txt atau cara lain. Algoritme kami memerlukan file eksternal ini untuk mendeteksi konfigurasi desain situs Anda dan menanganinya dengan benar. Anda dapat memastikan algoritme pengindeksan kami memiliki akses ke situs Anda menggunakan fitur Fetch as Google di Search Console.
 
Apakah artikel ini membantu?
Bagaimana cara meningkatkannya?