Laporan Status Cakupan Indeks

Pelajari halaman mana yang telah diindeks dan masalah yang dihadapi saat mengindeks situs Anda.

 

LAPORAN CAKUPAN INDEKS

 

Memahami laporan

Laporan ini akan jauh lebih mudah dipahami jika Anda sudah membaca cara kerja Google Penelusuran.

Laporan ini menampilkan status pengindeksan semua URL yang telah Google kunjungi, atau coba kunjungi, di properti Anda. Halaman ringkasan menampilkan hasil untuk semua URL yang ada di properti Anda, dikelompokkan menurut status (error, peringatan, atau valid) dan alasan spesifik untuk status tersebut (seperti URL yang dikirim tidak ditemukan (404)). Klik baris tabel di halaman ringkasan untuk melihat semua URL dengan status/alasan yang sama dan detail selengkapnya tentang masalah tersebut.

 

Apakah saya memerlukan laporan ini?

Jika situs Anda memiliki kurang dari 500 halaman, Anda mungkin tidak perlu menggunakan laporan ini. Akan lebih mudah untuk menelusuri situs Anda di Google dengan memasukkan site:your_site, dengan "your_site" yang merupakan URL halaman beranda situs tanpa awalan "http://" or "https://". Contohnya, site:example.com atau site:example.com/petstore. Hasil penelusuran menunjukkan halaman yang diketahui Google di situs Anda. Anda dapat menambahkan istilah penelusuran untuk menemukan halaman tertentu di situs Anda, misalnya: site:example.com/petstore iguana zebra.

 

Halaman ringkasan

Laporan tingkat teratas menampilkan status indeks dari semua halaman di situs Anda yang sudah dicoba di-crawl oleh Google dan dikelompokkan berdasarkan status dan alasan.

Yang perlu diperhatikan

Umumnya, akan terjadi peningkatan yang bertahap untuk jumlah halaman terindeks yang valid seiring dengan perkembangan situs Anda. Jika melihat penurunan atau lonjakan, lihat bagian pemecahan masalah. Tabel status di halaman ringkasan dikelompokkan dan diurutkan menurut "status + alasan"; Anda harus memperbaiki error yang paling berdampak terlebih dahulu.

Yang tidak perlu diperhatikan

  • Tidak perlu berekspektasi bahwa semua URL di situs Anda akan diindeks. Prioritas Anda adalah memastikan bahwa versi kanonis setiap halaman akan diindeks. Setiap halaman duplikat atau alternatif akan diberi label "Dikecualikan" dalam laporan ini. Halaman duplikat atau alternatif pada intinya memiliki konten yang sama dengan halaman kanonis. Jika suatu halaman ditandai sebagai duplikat atau alternatif, ini merupakan hal yang baik karena mengindikasikan bahwa kami telah menemukan halaman kanonisnya dan mengindeksnya. Anda dapat menemukan halaman kanonis untuk setiap URL dengan menjalankan Fitur Inspeksi URL. Lihat alasan lain mengapa halaman mungkin tidak ditemukan.
  • Jika Anda menambahkan konten baru, Google akan memerlukan waktu beberapa hari untuk mengindeksnya. Anda dapat mengurangi keterlambatan pengindeksan dengan meminta pengindeksan.

Status

Setiap halaman dapat memiliki salah satu dari nilai status berikut:

  • Error: Halaman tidak diindeks. Lihat deskripsi jenis error spesifik untuk mempelajari lebih lanjut error yang terjadi dan cara memperbaikinya. Anda harus memprioritaskan masalah ini terlebih dahulu.
  • Peringatan: Halaman diindeks, tetapi memiliki masalah yang harus Anda ketahui.
  • Dikecualikan: Halaman tidak diindeks karena kami menganggap bahwa Anda menginginkannya demikian. (Misalnya, Anda mungkin sengaja mengecualikannya dengan perintah noindex, atau halaman mungkin merupakan duplikat dari halaman kanonis yang telah kami indeks di situs Anda.)
  • Valid: Halaman diindeks.

Alasan

Setiap status (error, peringatan, valid, dan dikecualikan) diberikan karena alasan khusus untuk status tersebut. Lihat Deskripsi jenis status di bawah untuk mengetahui deskripsi setiap jenis status dan cara menanganinya.

Validasi

Status validasi untuk masalah ini. Anda harus memprioritaskan perbaikan masalah yang memiliki status validasi "gagal" atau "tidak dimulai".

Tentang validasi

Setelah memperbaiki semua instance masalah spesifik di situs, Anda dapat meminta Google memvalidasi perubahan. Jika semua instance yang diketahui sudah tidak ada, masalah akan ditandai sebagai diperbaiki pada tabel status dan dipindahkan ke bagian bawah tabel. Search Console memantau status validasi masalah secara keseluruhan, serta status setiap instance masalah. Jika semua instance masalah sudah tidak ada, masalah akan dianggap telah diperbaiki. (Untuk rekaman status aktual, lihat Status validasi masalah dan Status validasi instance.)

Selengkapnya tentang masa aktif masalah...

Masa aktif masalah dimulai sejak pertama kali instance dari masalah tersebut terdeteksi di situs, hingga 90 hari setelah instance terakhir ditandai sebagai sudah tidak ada di situs. Jika 90 hari berlalu tanpa ada perulangan, masalah akan dihapus dari histori laporan.

Tanggal pertama kali terdeteksinya masalah adalah waktu pertama kali masalah terdeteksi selama masa aktif masalah, dan tidak mengalami perubahan. Jadi:

  • Jika semua instance masalah telah diperbaiki, namun ada instance masalah yang baru terjadi 15 hari kemudian, masalah akan ditandai sebagai terbuka, dan tanggal "pertama kali terdeteksi" tetap menjadi tanggal aslinya.
  • Jika masalah yang sama terjadi 91 hari setelah instance terakhir diperbaiki, masalah sebelumnya akan ditutup, dan masalah ini dicatat sebagai masalah baru, dengan tanggal terdeteksi pertama kali ditetapkan pada "hari ini".

Alur validasi dasar

Berikut ini ringkasan proses validasi setelah Anda mengklik Validasi Perbaikan untuk masalah. Proses ini dapat memerlukan waktu beberapa hari, dan Anda akan menerima notifikasi progres melalui email.

  1. Saat Anda mengklik Validasi Perbaikan, Search Console langsung memeriksa beberapa halaman.
    • Jika instance saat ini ada di salah satu halaman tersebut, validasi akan berakhir, dan status validasi tetap tidak berubah.
    • Jika halaman contoh tidak memiliki error saat ini, validasi akan dilanjutkan dengan status Dimulai. Jika validasi menemukan masalah lain yang tidak terkait, masalah tersebut akan dianggap sebagai jenis masalah lain dan validasi dilanjutkan.
  2. Search Console bekerja melalui daftar URL yang diketahui, yang terpengaruh oleh masalah ini. Antrean untuk crawling ulang hanya berisi URL dengan instance masalah yang diketahui, bukan keseluruhan situs. Search Console menyimpan rekaman semua URL yang diperiksa pada histori validasi, yang dapat dibuka di halaman detail masalah.
  3. Saat URL diperiksa:
    1. Jika masalah tidak ditemukan, status validasi instance berubah menjadi Lulus. Jika ini adalah instance pertama yang diperiksa setelah validasi dimulai, status validasi masalah berubah menjadi Terlihat bagus.
    2. Jika URL tidak lagi dapat dijangkau, status validasi instance berubah menjadi Lainnya (bukan merupakan status error).
    3. Jika instance masih ada, status masalah berubah menjadi Gagal dan validasi berakhir. Jika ini adalah halaman baru yang ditemukan dengan crawling normal, halaman ini akan dianggap sebagai instance lain dari masalah yang ada.
  4. Jika semua URL peringatan dan error telah diperiksa dan jumlah masalahnya adalah 0, status masalah akan berubah menjadi Lulus. Penting: Meskipun jumlah halaman yang terpengaruh berkurang hingga 0 dan status masalah berubah menjadi Lulus, label tingkat keparahan asli akan tetap ditampilkan (Error atau Peringatan).

Meskipun Anda tidak pernah mengklik "mulai validasi" Google dapat mendeteksi instance masalah yang telah diperbaiki. Jika Google mendeteksi bahwa semua instance masalah telah diperbaiki selama crawl regulernya, status masalah akan berubah menjadi "T/A" pada laporan.

Kapan masalah dianggap sebagai "diperbaiki" untuk URL atau item?

Masalah ditandai sebagai diperbaiki untuk URL atau item saat salah satu ketentuan berikut terpenuhi:

  • Saat URL di-crawl dan masalahnya tidak ditemukan lagi di halaman. Untuk error tag AMP, hal ini dapat berarti bahwa Anda telah memperbaiki tag atau tag tersebut telah dihapus (jika tag tidak diperlukan). Selama upaya validasi, status masalah akan dianggap sebagai "lulus".
  • Jika halaman tidak tersedia untuk Google dengan alasan apa pun (halaman dihapus, ditandai noindex, perlu autentikasi, dan sebagainya), masalah tersebut akan dianggap sebagai diperbaiki untuk URL tersebut. Selama upaya validasi dilakukan, masalah akan dianggap dalam status validasi "lainnya".

Validasi ulang

Saat Anda mengklik Validasi ulang untuk validasi yang gagal, validasi akan dimulai ulang untuk semua instance yang gagal, serta instance baru apa pun dari masalah ini yang ditemukan melalui crawling normal.

Anda harus menunggu siklus validasi selesai sebelum meminta siklus validasi lagi, meskipun Anda telah memperbaiki beberapa masalah selama siklus saat ini.

Instance yang telah lulus validasi (ditandai sebagai Lulus) atau tidak dapat dijangkau lagi (ditandai sebagai Lainnya) tidak akan diperiksa lagi dan dihapus dari histori saat Anda mengklik Validasi ulang.

Histori validasi

Anda dapat melihat progres permintaan validasi dengan mengklik link detail validasi di halaman detail masalah.

Entri di halaman histori validasi dikelompokkan berdasarkan URL untuk laporan AMP dan laporan Status Indeks. Dalam laporan Kegunaan Seluler dan Hasil Kaya, item dikelompokkan berdasarkan kombinasi URL + item data terstruktur (seperti yang ditentukan berdasarkan nilai Nama item). Status validasi berlaku untuk masalah tertentu yang Anda periksa. Anda dapat memiliki satu masalah berlabel "Lulus" di halaman, tetapi masalah lainnya berlabel "Gagal", "Tertunda", atau "Lainnya".

Status validasi masalah

Status validasi berikut berlaku untuk masalah tertentu:

  • Belum dimulai: Ada satu atau beberapa halaman dengan instance masalah ini yang belum pernah Anda coba validasi. Langkah berikutnya:
    1. Klik masalah untuk mempelajari detail error-nya. Periksa setiap halaman untuk melihat contoh error pada halaman aktif menggunakan Pengujian AMP. (Jika Pengujian AMP tidak menampilkan error pada halaman, ini terjadi karena Anda telah memperbaiki error pada halaman aktif setelah Google menemukan error dan membuat laporan masalah ini.)
    2. Klik "Pelajari lebih lanjut" pada halaman detail untuk melihat detail aturan yang telah dilanggar.
    3. Klik contoh baris URL pada tabel untuk mendapatkan detail tentang error tersebut.
    4. Perbaiki halaman, lalu klik Validasi perbaikan agar Google meng-crawl ulang halaman. Google akan memberi tahu Anda tentang progres validasi. Harap bersabar karena validasi dapat memakan waktu beberapa hari hingga kira-kira 2 minggu. 
  • Dimulai:  Anda telah memulai upaya validasi dan belum ada sisa instance masalah yang ditemukan. Langkah berikutnya: Google akan mengirimkan notifikasi saat validasi berjalan, yang memberi tahu Anda tindakan yang harus dilakukan, jika perlu.
  • Terlihat bagus: Anda telah memulai upaya validasi, dan semua instance masalah yang diperiksa telah diperbaiki. Langkah berikutnya: Tidak ada tindakan yang harus dilakukan, tetapi Google akan mengirimkan notifikasi saat validasi berjalan, yang memberi tahu Anda tindakan yang harus dilakukan.
  • Lulus: Semua instance masalah yang diketahui sudah tidak ada (atau URL yang terpengaruh tidak tersedia lagi). Status ini muncul karena Anda telah mengklik "Validasi perbaikan" (jika instance tidak muncul tanpa adanya permintaan validasi, statusnya akan berubah menjadi T/A). Langkah berikutnya: Tidak ada lagi tindakan yang harus dilakukan.
  • T/A: Google menemukan bahwa masalah telah diperbaiki pada semua URL, meskipun Anda belum pernah memulai upaya validasi. Langkah berikutnya: Tidak ada lagi tindakan yang harus dilakukan.
  • Gagal: Ambang batas tertentu dari halaman masih berisi masalah ini, setelah Anda mengklik "Validasi". Langkah berikutnya: Perbaiki masalah dan validasi ulang.

Status validasi instance

Setelah validasi diminta, setiap instance masalah diberi salah satu status validasi berikut:

  • Validasi tertunda: Menunggu validasi diproses. Terakhir kali Google memeriksanya, instance masalah ini sudah ada.
  • Lulus: [Tidak tersedia di semua laporan] Google telah memeriksa masalah tersebut dan laporan sudah tidak ada lagi. Status ini hanya bisa didapatkan jika Anda secara eksplisit mengklik Validasi untuk instance masalah ini.
  • Gagal: Google memeriksa instance masalah, dan instance tersebut masih ada. Status ini hanya bisa didapatkan jika Anda secara eksplisit mengklik Validasi untuk instance masalah ini.
  • Lainnya: [Tidak tersedia di semua laporan] Google tidak dapat menjangkau URL yang meng-hosting instance tersebut, atau (untuk data terstruktur) tidak dapat lagi menemukan item pada halaman apa pun. Dianggap setara dengan Lulus.

Perlu diketahui bahwa URL yang sama dapat memiliki status yang berbeda untuk masalah yang berbeda. Misalnya, jika sebuah halaman memiliki masalah X dan masalah Y, masalah X dapat memiliki status validasi Lulus dan masalah Y pada halaman yang sama dapat memiliki status validasi Tertunda.

Filter drop-down penemuan URL

Gunakan filter drop-down di atas diagram untuk memfilter hasil indeks menurut cara Google menemukan URL. Nilai berikut tersedia:

  • Semua halaman yang diketahui [Default] - Menampilkan semua URL yang ditemukan oleh Google melalui cara apa pun.
  • Semua halaman yang dikirim - Hanya menampilkan halaman yang dikirim dalam peta situs ke laporan ini atau dengan ping peta situs.
  • URL peta situs tertentu - Hanya menampilkan URL yang tercantum dalam peta situs tertentu yang dikirim menggunakan laporan ini. Hal ini meliputi setiap URL dalam peta situs bertingkat.

URL akan dianggap telah dikirim oleh peta situs meskipun juga ditemukan melalui beberapa mekanisme lainnya (misalnya melalui crawling organik dari halaman lain).

Halaman detail

Klik baris di halaman ringkasan untuk membuka halaman detail kombinasi status + alasan tersebut. Anda dapat melihat detail masalah yang dipilih dengan mengklik Pelajari lebih lanjut di halaman detail.

Grafik di halaman ini menunjukkan jumlah halaman yang terpengaruh dari waktu ke waktu.

Tabel menunjukkan daftar contoh halaman yang dipengaruhi oleh masalah ini:

  • Buka URL dalam tabel dengan mengklik link anchor pada baris tabel.
  • Periksa URL dalam tabel dengan mengklik ikon periksa pada baris tabel.
  • Setelah memperbaiki semua error atau peringatan yang muncul, Anda dapat meminta Google untuk memvalidasi perbaikan yang telah dilakukan.

Ada URL yang ditandai dengan masalah yang sudah diperbaiki? Anda mungkin memperbaiki masalah tersebut SETELAH crawl terakhir Google. Oleh karena itu, jika Anda melihat URL dengan masalah yang sudah diperbaiki, coba periksa tanggal crawl URL tersebut. Periksa dan konfirmasikan perbaikan yang dilakukan, lalu minta pengindeksan ulang.

 

Membagikan laporan

Anda dapat membagikan detail masalah dengan mengklik tombol Bagikan di halaman. Link ini hanya memberikan akses ke halaman saat ini dan halaman histori validasi untuk masalah ini kepada siapa pun yang memiliki link. Link tidak memberikan akses ke halaman lain resource Anda atau memungkinkan pengguna bersama melakukan tindakan apa pun di properti atau akun Anda. Anda dapat mencabut link kapan saja dengan menonaktifkan fitur berbagi untuk halaman ini.

Mengekspor laporan

Banyak laporan yang menyediakan tombol ekspor untuk mengekspor data laporan. Data diagram dan tabel diekspor. Anda dapat memilih format data yang diekspor: CSV atau Google Spreadsheet.

Pemecahan masalah

Anda dapat mengonfirmasi status pengindeksan setiap URL yang ditampilkan dalam laporan ini dengan memeriksa URL sebagai berikut:

  1. Dari halaman detail, klik salah satu URL dalam tabel contoh untuk membuka panel samping yang mencantumkan opsi pengujian.
  2. Di panel samping, klik Periksa URL untuk melihat detail lebih lanjut tentang versi Indeks Google dari halaman tersebut.
  3. Dalam laporan yang diindeks, periksa bagian Cakupan > Crawl dan Cakupan > Pengindeksan untuk melihat detail tentang crawl dan status indeks halaman. Untuk menguji versi langsung halaman, klik Uji URL langsung.

Masalah umum

Berikut adalah beberapa masalah pengindeksan paling umum yang mungkin Anda lihat dalam laporan ini:

Total halaman yang diindeks menurun, tetapi tidak ada error

Jika melihat adanya penurunan pada jumlah total halaman yang diindeks tetapi tidak ada error terkait yang muncul, Anda mungkin memblokir akses ke halaman yang ada (melalui robots.txt, 'noindex', atau login wajib), tetapi hanya untuk halaman yang belum Anda kirim untuk diindeks. Jika sudah mengirimkan halaman untuk diindeks, Anda akan melihat sekumpulan error yang terkait. Lihat URL yang Dikecualikan untuk mengetahui lonjakan yang terkait dengan penurunan halaman yang Valid.

Halaman yang Dikecualikan lebih banyak dari halaman Valid

Jika Anda melihat lebih banyak halaman Dikecualikan daripada halaman Valid, lihat alasan pengecualian. Alasan pengecualian biasanya meliputi:

  • Anda memiliki aturan robots.txt yang memblokir Google agar tidak meng-crawl bagian besar situs Anda. Jika Anda memblokir halaman yang salah, buka blokirannya.
  • Situs Anda memiliki sangat banyak halaman duplikat, mungkin karena halaman tersebut menggunakan parameter untuk memfilter atau mengurutkan koleksi umum (misalnya: type=dress atau color=green atau sort=price ). Jika halaman hanya menampilkan konten sama yang diurutkan atau difilter dengan cara yang berbeda, halaman tersebut mungkin sebaiknya dikecualikan. Jika Anda adalah pengguna tingkat lanjut, dan Anda merasa bahwa Google salah memahami parameter di situs Anda, Anda dapat menggunakan fitur Parameter URL untuk menyesuaikan penanganan parameter situs.
Lonjakan error

Lonjakan error mungkin disebabkan oleh adanya perubahan pada template yang menimbulkan error baru, atau Anda mungkin telah mengirimkan peta situs berisi URL yang tidak dapat di-crawl (misalnya karena diblokir oleh robots.txt atau noindex, atau persyaratan login). Lihat masalah yang muncul, lalu periksa halaman untuk mencari tahu error tersebut.

Jika Anda melihat lonjakan error:

  1. Coba temukan keterkaitan antara jumlah total error pengindeksan atau jumlah total halaman yang diindeks dan garis lonjakan di samping baris error tertentu pada halaman ringkasan untuk mencari tahu masalah yang mungkin memengaruhi jumlah total error atau jumlah total halaman yang diindeks.
  2. Klik setiap baris error yang tampaknya turut berkontribusi pada lonjakan error guna membuka halaman detail yang menyertakan informasi selengkapnya. Baca deskripsi tentang jenis error tertentu dan pelajari cara terbaik untuk mengatasinya.
  3. Perbaiki semua error yang muncul, lalu minta validasi dengan mengklik Validasi Perbaikan di halaman detail karena alasan tersebut. Baca selengkapnya tentang validasi.
  4. Anda akan mendapatkan notifikasi selama proses validasi berjalan, tetapi silakan kembali setelah beberapa hari untuk memastikan apakah jumlah error sudah berkurang.
  5. Secara rutin, hapus filter untuk URL yang dikecualikan, urutkan URL menurut jumlah halaman yang terpengaruh, lalu pindai URL untuk mendeteksi masalah yang tidak diinginkan.
Error server
Error server berarti Googlebot tidak dapat mengakses URL Anda, waktu permintaan habis, atau situs Anda sedang sibuk. Akibatnya, Googlebot terpaksa membatalkan permintaan.

Menguji konektivitas server

Anda dapat menggunakan Fitur Inspeksi URL untuk melihat apakah Anda dapat mereproduksi error server yang dilaporkan oleh laporan Status Cakupan Indeks.

Memperbaiki error konektivitas server

  • Kurangi pemuatan halaman yang berlebihan untuk permintaan halaman dinamis.
    Situs yang menayangkan konten yang sama untuk beberapa URL akan dianggap menayangkan konten secara dinamis (misalnya, www.example.com/shoes.php?color=red&size=7 menayangkan konten yang sama dengan www.example.com/shoes.php?size=7&color=red). Halaman dinamis dapat memakan waktu yang sangat lama untuk merespons sehingga mengakibatkan masalah waktu tunggu habis. Atau, server mungkin menampilkan status kelebihan muatan untuk meminta Googlebot meng-crawl situs secara lebih lambat. Secara umum, kami merekomendasikan agar daftar parameter tetap dibuat singkat dan digunakan secara efektif. Jika sudah yakin tentang cara kerja parameter untuk situs, Anda dapat memberi tahu Google cara menangani parameter ini.
  • Pastikan server hosting situs Anda aktif, tidak kelebihan beban, atau tidak salah konfigurasi.
    Jika terdapat masalah sambungan, waktu tunggu, atau respons, periksa penghosting web Anda dan pertimbangkanlah untuk meningkatkan kemampuan situs Anda dalam menangani lalu lintas.
  • Periksa apakah Anda tidak sengaja memblokir Google.
    Anda mungkin telah memblokir Google karena terdapat masalah di level sistem, seperti masalah konfigurasi DNS, firewall atau sistem perlindungan DoS yang salah dikonfigurasi, atau konfigurasi sistem pengelolaan konten. Sistem perlindungan merupakan bagian penting untuk hosting yang baik dan sering dikonfigurasi untuk secara otomatis memblokir permintaan server yang sangat tinggi secara tidak wajar. Akan tetapi, karena Googlebot sering melakukan permintaan lebih banyak daripada pengguna manusia, tindakan ini dapat memicu sistem perlindungan tersebut, yang menyebabkannya pemblokiran Googlebot dan membuatnya tidak dapat meng-crawl situs Anda. Untuk memperbaiki masalah tersebut, identifikasi bagian mana dari infrastruktur situs web Anda yang memblokir Googlebot dan hentikan pemblokiran tersebut. Mungkin Anda tidak dapat mengontrol firewall, sehingga Anda harus membicarakannya dengan penyedia hosting.
  • Kontrol pengindeksan dan crawling situs mesin telusur dengan bijak.
    Beberapa webmaster mencegah Googlebot meng-crawl situsnya dengan sengaja, mungkin menggunakan firewall seperti yang disebutkan di atas. Dalam kasus ini, biasanya tujuannya bukan untuk memblokir Googlebot sepenuhnya, namun untuk mengontrol cara situs di-crawl dan diindeks. Jika ini terjadi pada Anda, periksa hal-hal berikut:
Error 404

Secara umum, sebaiknya hanya perbaiki halaman yang menampilkan error 404, bukan dikecualikan 404. URL error 404 adalah URL yang secara eksplisit Anda minta untuk diindeks oleh Google, tetapi tidak ditemukan. URL dikecualikan 404 adalah URL yang ditemukan Google melalui beberapa mekanisme lainnya.

Berikut adalah cara menangani error 404:

  1. Tentukan apakah error benar-benar perlu diperbaiki. Banyak (mungkin sebagian besar) error 404 tidak perlu diperbaiki karena 404 tidak membahayakan pengindeksan atau peringkat situs Anda.
    • Jika itu adalah URL yang dikirimkan (error), sebaiknya diperbaiki.
    • Jika halaman yang dihapus tidak memiliki pengganti atau halaman yang setara, menampilkan error 404 adalah hal yang tepat. Laporan akan berhenti menampilkan error 404 setelah sekitar satu bulan.
    • Anda tidak perlu khawatir jika error 404 merupakan URL buruk yang dihasilkan oleh skrip, atau URL tidak pernah ada di situs Anda. Mungkin error 404 yang ada di laporan cukup mengganggu Anda, tetapi Anda tidak perlu memperbaikinya, kecuali URL adalah link yang salah eja (lihat di bawah). Error 404 harus dihapus dari laporan setelah sekitar satu bulan.
  2. Jika URL sudah dikirim untuk diindeks, (dengan status Error),
    1. Periksa URL untuk mencari tahu asal pengirimannya dengan mengklik ikon kirim di samping URL Telusuri, lalu lihat informasi Penemuan. Perbarui peta situs jika diperlukan.
    2. Jika konten telah dipindahkan, tambahkan pengalihan.
    3. Jika Anda telah menghapus konten secara permanen dan tidak ingin menggantinya dengan konten terkait yang lebih baru, biarkan URL lama menampilkan error 404 atau 410. Saat ini, Google memperlakukan 410 (Hilang) sama seperti 404 (Tidak ditemukan). Memunculkan kode selain 404 atau 410 untuk halaman yang tidak ada (atau mengalihkan pengguna ke halaman lain, seperti beranda, dan tidak memunculkan 404) dapat menjadi masalah. Halaman semacam ini dikenal sebagai soft 404, serta dapat membingungkan pengguna dan mesin telusur.
    4. Jika URL tidak diketahui: Terkadang, Anda mungkin melihat error 404 untuk URL yang tidak pernah ada di situs Anda. Error ini dapat terjadi ketika seseorang menjelajah ke URL yang tidak ada di situs Anda; mereka mungkin salah menuliskan URL di browser, atau salah menuliskan URL link. Jika error ini sering terjadi, Anda dapat membuat pengalihan untuknya.
      Alasan lain terkait URL yang tidak terduga mungkin disebabkan oleh Googlebot yang mencoba mengikuti link dari JavaScript, file Flash, atau konten tersemat lainnya, atau yang mungkin hanya ada di peta situs. Misalnya, situs Anda mungkin menggunakan kode seperti berikut untuk melacak download file di Google Analytics:
      <a href="helloworld.pdf"
        onClick="_gaq.push(['_trackPageview','/download-helloworld']);">
        Hello World PDF</a>

      Saat melihat kode ini, Googlebot mungkin mencoba meng-crawl URL http://www.example.com/download-helloworld meskipun URL tersebut bukanlah halaman yang benar-benar ada. Dalam hal ini, link mungkin muncul sebagai error 404 (Tidak Ditemukan) dalam laporan Error Crawl. Google terus berusaha mencegah jenis kesalahan perayapan ini. Error ini tidak memengaruhi crawling atau penentuan peringkat situs Anda.

  3. Jangan membuat konten palsu, mengalihkan ke halaman beranda, atau menggunakan robots.txt untuk memblokir 404; semua itu akan menyulitkan kami mengenali struktur situs Anda dan memprosesnya dengan benar. Kami menyebut error ini dengan error soft 404.(Setelah berhasil meng-crawl URL, Google dapat mencoba meng-crawl URL tersebut selamanya. Menggunakan pengalihan 300 level akan menunda upaya crawling ulang, mungkin untuk waktu yang sangat lama.) Mengirimkan permintaan penghapusan URL menggunakan fitur penghapusan URL tidak akan menghapus error dari laporan ini.
Halaman atau situs tidak muncul

Jika halaman Anda tidak ada dalam laporan, salah satu hal berikut mungkin benar:

  • Google tidak mengetahui halaman tersebut. Beberapa catatan tentang kemampuan halaman untuk dapat ditemukan:
    • Jika halaman ini merupakan situs atau halaman baru, perlu diingat bahwa Google memerlukan waktu untuk menemukan dan meng-crawl situs atau halaman baru.
    • Agar Google dapat mempelajari suatu halaman, Anda harus mengirimkan peta situs atau permintaan crawl halaman; jika tidak, Google harus menemukan link ke halaman Anda di suatu tempat.
    • Setelah URL halaman diketahui, perlu beberapa saat (hingga beberapa minggu) sebelum Google meng-crawl sebagian atau seluruh situs Anda.
    • Pengindeksan tidak pernah instan, bahkan saat Anda mengirim permintaan crawling secara langsung.
  • Google tidak dapat menjangkau halaman Anda (halaman memerlukan login atau tidak tersedia untuk semua pengguna di internet)
  • Halaman memiliki tag noindex yang mencegah Google mengindeksnya, atau
  • Halaman dihapus dari indeks karena beberapa alasan.

Langkah perbaikan:

Gunakan Fitur Inspeksi URL untuk menguji masalah di halaman Anda. Jika halaman tidak tercantum dalam Laporan Cakupan Indeks, tetapi dicantumkan sebagai diindeks dalam Laporan Inspeksi URL, halaman tersebut mungkin baru saja diindeks, dan akan segera muncul dalam Laporan Cakupan Indeks. Jika halaman dicantumkan sebagai tidak diindeks pada fitur Inspeksi URL (yang Anda harapkan), uji halaman aktifnya. Hasil pengujian halaman aktif akan menunjukkan masalahnya: gunakan informasi dari pengujian dan dokumentasi pengujian untuk mempelajari cara memperbaiki masalah tersebut.

FAQ

Mengapa halaman saya diindeks? Saya tidak menginginkannya.

Google dapat mengindeks URL apa pun yang ditemukannya, kecuali Anda menyertakan perintah noindex pada halaman tersebut (atau halaman telah diblokir sementara), serta dapat menemukan halaman dengan berbagai cara, termasuk melalui seseorang yang menautkan ke halaman Anda dari situs lain.

Mengapa situs saya belum diindeks ulang belakangan ini?

Google mengindeks ulang halaman berdasarkan beberapa kriteria, seperti seberapa sering halaman tersebut berubah menurut perhitungan Google. Jika situs Anda tidak sering berubah, hal ini mungkin disebabkan karena rasio pembaruan yang lambat, yang sebenarnya tidak masalah jika halaman Anda belum berubah. Jika menurut Anda situs memerlukan pembaruan, minta Google untuk meng-crawl ulang situs.

Bisakah Anda meng-crawl ulang halaman/situs saya?

Minta Google untuk meng-crawl ulang.

Mengapa begitu banyak halaman saya yang dikecualikan?

Lihatlah alasan pengecualian yang diperinci dalam laporan Cakupan Indeks. Sebagian besar pengecualian disebabkan oleh salah satu alasan berikut:

  • Anda memiliki aturan robots.txt yang menghalangi Google meng-crawl sebagian besar situs Anda. Gunakan Fitur Inspeksi URL untuk memastikan masalahnya.
  • Situs Anda memiliki banyak halaman duplikat, biasanya karena menggunakan parameter untuk memfilter atau mengurutkan kumpulan yang sama (misalnya: type=dress atau color=green atau sort=price). Halaman-halaman tersebut akan diberi label sebagai "duplikat" atau "alternatif" dalam laporan Cakupan Indeks.
  • URL halaman tersebut dialihkan ke URL lain. URL pengalihan tidak diindeks, sedangkan target pengalihan diindeks.

Google tidak dapat mengakses peta situs saya

Pastikan peta situs Anda tidak diblokir oleh robots.txt, valid, dan Anda menggunakan URL yang benar dalam entri robots.txt atau pengiriman laporan Peta Situs. Uji URL peta situs menggunakan fitur pengujian peta situs yang tersedia secara luas.

Mengapa Google terus meng-crawl halaman yang telah dihapus?

Google terus meng-crawl semua URL yang dikenal bahkan setelah URL menampilkan error 4XX untuk sementara waktu, jika ini merupakan error sementara. Satu-satunya situasi ketika URL tidak akan di-crawl adalah saat URL menampilkan perintah noindex.

Agar tidak menampilkan daftar error 404 yang semakin panjang, Laporan Cakupan Indeks hanya memperlihatkan URL yang pernah menampilkan error 404 dalam sebulan terakhir.

Saya dapat melihat halaman saya, mengapa Google tidak?

Gunakan Fitur Inspeksi URL untuk mengetahui apakah Google dapat melihat halaman aktifnya. Jika tidak, penyebabnya akan dijelaskan. Jika bisa, masalahnya kemungkinan terletak pada error akses yang telah diperbaiki sejak crawling terakhir. Jalankan crawling langsung menggunakan Fitur Inspeksi URL dan minta pengindeksan.

Fitur Inspeksi URL menunjukkan tidak ada masalah, tetapi Laporan Cakupan Indeks menunjukkan error. Mengapa?

Anda mungkin sudah memperbaiki error tersebut setelah kali terakhir URL di-crawl oleh Google. Lihat tanggal crawl URL Anda (yang dapat dilihat di halaman detail URL dalam Laporan Cakupan Indeks atau dalam tampilan versi yang diindeks di Fitur Inspeksi URL). Pastikan apakah Anda pernah melakukan perbaikan sejak halaman tersebut di-crawl.

Bagaimanakah cara menemukan status indeks dari URL tertentu?

Untuk mempelajari status indeks URL tertentu, gunakan Fitur Inspeksi URL. Anda tidak dapat mencari atau memfilter berdasarkan URL di laporan Cakupan Indeks.

Alasan status

Berikut adalah kemungkinan alasan untuk setiap status masalah:

Jenis alasan "Dikirim"

Jika alasan indeks menggunakan kata "Dikirim", artinya Anda telah secara eksplisit meminta Google untuk mengindeks URL dengan menyertakannya di peta situs yang dikirimkan ke laporan Peta Situs. Jika memiliki label "Tidak dikirim", artinya Google menemukan URL tersebut sendiri (misalnya, dari link di halaman lain) dan URL tidak termasuk dalam peta situs yang diindeks.

Error


Halaman yang berisi error belum diindeks.


Error server (5xx): Server Anda menampilkan error 500 level ketika halaman tersebut diminta. Lihat Memperbaiki error server.

Error pengalihan: Google mengalami error pengalihan dengan salah satu jenis error berikut: Rantai pengalihan yang terlalu panjang; pengalihan balik; URL pengalihan yang akhirnya melebihi panjang maksimal URL; terdapat URL yang buruk atau kosong dalam rantai pengalihan. Gunakan fitur proses debug web, seperti Lighthouse, untuk mendapatkan detail selengkapnya tentang pengalihan tersebut.

URL yang dikirim diblokir oleh robots.txt: Anda mengirimkan halaman ini untuk pengindeksan, tetapi halaman diblokir oleh file robots.txt situs Anda.

  1. Klik halaman dalam tabel Contoh untuk membuka panel samping fitur.
  2. Klik Uji pemblokiran robots.txt untuk menjalankan penguji robots.txt bagi URL tersebut. Fitur ini akan memperjelas aturan yang memblokir URL tersebut.
  3. Perbarui file robots.txt Anda agar menghapus atau mengubah aturan sebagaimana diperlukan. Anda dapat menemukan lokasi file ini dengan mengklik Lihat robots.txt langsung pada fitur pengujian robots.txt. Jika Anda menggunakan layanan hosting web dan tidak memiliki izin untuk mengubah file ini, telusuri dokumentasi layanan atau hubungi pusat bantuan mereka untuk menyampaikan masalah yang Anda alami.

URL yang dikirimkan ditandai ‘noindex’: Anda mengirimkan halaman ini untuk diindeks, tetapi halaman memiliki perintah 'noindex' dalam tag meta atau header HTTP. Jika ingin halaman ini diindeks, Anda harus menghapus tag atau header HTTP. Gunakan Fitur Inspeksi URL untuk mengonfirmasi error tersebut:

  1. Klik ikon periksa di samping URL dalam tabel.
  2. Pada Cakupan > Pengindeksan > Pengindeksan diizinkan?, laporan akan menunjukkan bahwa noindex memblokir pengindeksan.
  3. Konfirmasikan bahwa tag noindex masih ada dalam versi langsungnya:
    1. Klik Uji URL langsung
    2. Pada Ketersediaan > Pengindeksan > Pengindeksan diizinkan?, lihat apakah perintah noindex masih terdeteksi. Jika noindex sudah tidak ada lagi, Anda dapat mengklik Minta Pengindeksan untuk meminta Google mencoba mengindeks halaman lagi. Jika noindex masih ada, Anda harus menghapusnya agar halaman dapat diindeks.

URL yang dikirim sepertinya merupakan Soft 404: Anda mengirimkan halaman ini untuk diindeks, tetapi server menampilkan sesuatu yang sepertinya merupakan soft 404. Pelajari cara memperbaikinya.

URL yang dikirim menampilkan permintaan tidak sah (401): Anda mengirimkan halaman ini untuk diindeks, tetapi Google mendapatkan respons 401 (tidak sah). Hapus persyaratan otorisasi untuk halaman ini, atau izinkan Googlebot mengakses halaman Anda dengan memverifikasi identitasnya. Anda dapat memverifikasi error ini dengan mengunjungi halaman dalam mode samaran.

URL yang dikirim tidak ditemukan (404): Anda mengirimkan URL yang sebenarnya tidak ada untuk diindeks. Lihat Memperbaiki error 404.

URL yang dikirim memiliki masalah crawl: Anda mengirimkan halaman untuk diindeks, dan Google menemukan error crawling tidak jelas yang tidak termasuk dalam alasan lain mana pun. Coba debug halaman menggunakan Fitur Inspeksi URL.

Peringatan


Halaman dengan status peringatan mungkin perlu Anda perhatikan, dan mungkin sudah atau belum diindeks, berdasarkan hasil tertentu.


Diindeks, meski diblokir oleh robots.txt: Halaman sudah diindeks, meskipun diblokir oleh robots.txt (Google selalu mematuhi robots.txt, namun tidak lagi jika seseorang menaut ke halaman tersebut). Kondisi ini ditandai sebagai peringatan karena kami tidak yakin apakah Anda sengaja memblokir halaman dari hasil penelusuran. Jika Anda memang ingin memblokir halaman ini, robots.txt bukanlah mekanisme yang tepat untuk mencegah agar halaman tidak diindeks. Agar halaman tidak diindeks, sebaiknya gunakan 'noindex' atau wajibkan autentikasi untuk melarang akses anonim. Anda dapat menggunakan penguji robots.txt untuk menentukan aturan mana yang memblokir halaman ini. Karena robots.txt, semua cuplikan yang ditampilkan untuk halaman mungkin akan kurang optimal. Jika tidak ingin memblokir halaman ini, perbarui file robots.txt agar pemblokiran halaman dibatalkan.

Valid


Halaman dengan status yang valid telah diindeks.

Dikirim dan diindeks: Anda mengirimkan URL untuk diindeks, dan URL telah diindeks.

Diindeks, tidak dikirimkan di peta situs: URL ditemukan oleh Google dan diindeks. Sebaiknya kirimkan semua URL penting menggunakan peta situs.

Dikecualikan

Halaman berikut ini umumnya tidak diindeks, dan menurut kami hal itu sudah tepat. Halaman ini adalah duplikat dari halaman yang sudah diindeks, atau diblokir dari pengindeksan oleh beberapa mekanisme di situs Anda, atau tidak diindeks karena alasan yang menurut kami bukanlah error.

Dikecualikan oleh tag ‘noindex’: Saat mencoba mengindeks halaman, Google menemukan perintah 'noindex' sehingga halaman tersebut tidak diindeks. Jika Anda memang tidak ingin halaman ini diindeks, perintah ini sudah sesuai. Jika ingin halaman ini diindeks, Anda harus menghapus perintah 'noindex'. Untuk mengonfirmasi kehadiran tag atau perintah ini, minta halaman di browser dan telusuri isi respons dan header respons untuk "noindex". 

Diblokir oleh alat penghapusan halaman: Saat ini halaman diblokir oleh Permintaan penghapusan URL. Jika Anda adalah pemilik situs, Anda dapat menggunakan Alat penghapusan URL untuk melihat siapa yang mengajukan permintaan penghapusan URL. Permintaan penghapusan hanya berlaku selama sekitar 90 hari setelah tanggal penghapusan. Setelah jangka waktu tersebut terlewati, Googlebot dapat kembali dan mengindeks halaman itu, meskipun Anda tidak mengirimkan permintaan indeks lain. Jika Anda tidak ingin halaman diindeks, gunakan 'noindex', yang mewajibkan otorisasi untuk halaman, atau menghapus halaman.

Diblokir oleh robots.txt: Halaman ini menggunakan file robots.txt untuk memblokir Googlebot. Anda dapat memverifikasi halaman ini menggunakan penguji robots.txt. Perlu diketahui bahwa hal ini bukan berarti halaman tidak akan diindeks dengan beberapa cara lain. Jika Google dapat menemukan informasi lain tentang halaman ini tanpa memuatnya, halaman masih dapat diindeks (meskipun hal ini jarang terjadi). Untuk memastikan bahwa halaman tidak diindeks oleh Google, hapus pemblokiran robots.txt dan gunakan perintah 'noindex'.

Diblokir karena adanya permintaan yang tidak sah (401): Halaman menerapkan permintaan otorisasi untuk memblokir Googlebot (respons 401). Agar Googlebot dapat meng-crawl halaman ini, hapus persyaratan otorisasi, atau izinkan Googlebot mengakses halaman Anda.

Anomali crawl: Anomali yang tidak diketahui terjadi saat mengambil URL ini. Hal ini bisa berarti kode respons level 4xx- atau 5xx; coba ambil halaman menggunakan Alat Inspeksi URL untuk melihat apakah halaman tersebut mengalami masalah dalam proses pengambilan. Halaman tersebut tidak diindeks.

Di-crawl - saat ini tidak diindeks: Halaman telah di-crawl oleh Google, tetapi tidak diindeks. Halaman ini mungkin diindeks atau mungkin tidak diindeks di masa mendatang; tidak perlu mengirim ulang URL ini untuk crawling.

Ditemukan - saat ini tidak diindeks: Halaman telah ditemukan oleh Google, tetapi belum di-crawl. Biasanya, Google mencoba meng-crawl URL namun situs kelebihan muatan; oleh karena itu, Google harus menjadwalkan ulang crawl. Itulah alasan tanggal crawl terakhir kosong di laporan.

Halaman alternatif dengan tag kanonis yang tepat: Halaman ini merupakan duplikat dari halaman yang dikenali oleh Google sebagai kanonis. Halaman ini mengarah ke halaman kanonis tersebut dengan benar, sehingga Anda tidak perlu melakukan apa pun.

Duplikat tanpa kanonis pilihan pengguna: Halaman memiliki duplikat, tetapi tidak ada yang ditandai sebagai kanonis. Kami menganggap halaman ini bukan halaman kanonis. Anda seharusnya menandai halaman ini sebagai kanonis secara eksplisit. Periksa URL ini untuk melihat URL kanonis yang dipilih oleh Google.

Duplikat, Google memilih versi kanonis yang berbeda dengan pengguna: Halaman ini ditandai sebagai kanonis untuk sekumpulan halaman, tetapi Google menganggap ada URL lain yang lebih cocok dianggap sebagai kanonis. Google telah mengindeks halaman yang dianggap sebagai kanonis, dan bukan yang ini. Sebaiknya tandai halaman ini secara eksplisit sebagai duplikat URL kanonis. Halaman ini ditemukan tanpa permintaan crawl eksplisit. Periksa URL ini untuk melihat URL kanonis yang dipilih oleh Google.

Tidak ditemukan (404): Halaman menampilkan error 404 saat diminta. Google menemukan URL ini tanpa ada permintaan eksplisit atau peta situs apa pun. Google mungkin telah menemukan URL ini sebagai link dari situs lain, atau mungkin halaman tersebut ada sebelumnya dan telah dihapus. Googlebot mungkin akan terus berupaya meng-crawl URL ini dalam jangka waktu tertentu; tidak ada cara lain untuk membuat Googlebot melupakan URL secara permanen, meskipun halaman akan lebih jarang di-crawl. Respons 404 tidak menjadi masalah, jika disengaja. Jika halaman Anda telah dipindahkan, gunakan pengalihan 301 ke lokasi baru. Baca Memperbaiki error 404

Halaman dihapus karena adanya keluhan hukum: Halaman telah dihapus dari indeks karena adanya keluhan hukum.

Halaman dengan pengalihan: URL ini adalah pengalihan dan tidak ditambahkan ke indeks.

Soft 404: Permintaan halaman menampilkan hal yang dianggap sebagai respons soft 404. Hal ini berarti bahwa halaman menampilkan pesan "tidak ditemukan" yang aman bagi pengguna tanpa kode respons 404 yang sesuai. Sebaiknya tampilkan kode respons 404 untuk halaman yang benar-benar "tidak ditemukan", atau tambahkan lebih banyak informasi ke halaman untuk memberi tahu kami bahwa itu bukan soft 404. Pelajari lebih lanjut

Duplikat, URL yang dikirim tidak dipilih sebagai kanonis: URL ini merupakan sekumpulan URL duplikat tanpa halaman kanonis yang ditandai secara eksplisit. Secara eksplisit Anda meminta URL ini untuk diindeks, tetapi karena URL tersebut adalah duplikat dan Google menganggap bahwa URL lain adalah kandidat yang lebih baik untuk kanonis, Google tidak mengindeks URL ini. Sebagai gantinya, kami mengindeks kanonis yang kami pilih. (Google hanya mengindeks halaman kanonis dalam sekumpulan duplikat.) Perbedaan antara status ini dan "Google memilih versi kanonis yang berbeda dengan pengguna" adalah bahwa, di sini Anda meminta pengindeksan secara eksplisit. Periksa URL ini untuk melihat URL kanonis yang dipilih oleh Google.

Apakah ini membantu?
Bagaimana cara meningkatkannya?