Laporan Cakupan Indeks

Pelajari halaman mana yang telah diindeks dan masalah yang dihadapi saat mengindeks situs Anda.

 

LAPORAN CAKUPAN INDEKS

 

Status cakupan indeks di Search Console - Pelatihan Google Search Console

Memahami laporan

Laporan ini akan jauh lebih mudah dipahami jika Anda sudah membaca cara kerja Google Penelusuran.

Laporan ini menampilkan status pengindeksan semua URL yang telah Google kunjungi, atau coba kunjungi, di properti Anda. Halaman ringkasan menampilkan hasil untuk semua URL yang ada di properti Anda, dikelompokkan menurut status (error, peringatan, atau valid) dan alasan spesifik untuk status tersebut (seperti URL yang dikirim tidak ditemukan (404)). Klik baris tabel di halaman ringkasan untuk melihat semua URL dengan status/alasan yang sama dan detail selengkapnya tentang masalah tersebut.

 

Apakah saya memerlukan laporan ini?

Jika situs Anda memiliki kurang dari 500 halaman, Anda mungkin tidak perlu menggunakan laporan ini. Sebaliknya, akan lebih mudah menelusuri situs di Google dengan memasukkan site:your_site. Dalam hal ini "your_site" adalah URL halaman beranda situs tanpa awalan "http://" atau "https://". Misalnya, site:example.com atau site:example.com/petstore. Hasil penelusuran menunjukkan halaman yang diketahui Google di situs Anda. Anda dapat menambahkan istilah penelusuran untuk menemukan halaman tertentu di situs Anda, misalnya: site:example.com/petstore iguana zebra.

 

Halaman ringkasan

Laporan tingkat teratas menampilkan status indeks dari semua halaman yang sudah dicoba di-crawl oleh Google di situs Anda dan dikelompokkan berdasarkan status dan alasan.

Crawler utama

Nilai Crawler utama pada halaman ringkasan menampilkan jenis agen pengguna default yang digunakan Google untuk meng-crawl situs Anda: Smartphone atau Desktop, yang menyimulasikan pengguna di perangkat seluler atau desktop.

Google meng-crawl semua halaman di situs Anda menggunakan crawler utama ini. Selain itu, Google juga dapat meng-crawl subkumpulan halaman Anda menggunakan crawler sekunder (terkadang disebut crawler alternatif), yang merupakan jenis agen pengguna lainnya. Contohnya, jika crawler utama untuk situs Anda adalah Smartphone, crawler sekunder adalah Desktop; dan jika crawler utama adalah Desktop, crawler sekunder Anda adalah Smartphone. Tujuan crawl sekunder adalah mencoba mendapatkan lebih banyak informasi tentang perilaku situs Anda saat dikunjungi oleh pengguna di jenis perangkat lain.

Yang perlu diperhatikan

Umumnya, akan terjadi peningkatan jumlah halaman terindeks yang valid secara bertahap seiring dengan perkembangan situs Anda. Jika Anda melihat penurunan atau lonjakan, lihat bagian pemecahan masalah. Tabel status di halaman ringkasan dikelompokkan dan diurutkan menurut "status + alasan"; Anda harus memperbaiki error yang paling berdampak terlebih dahulu.

Yang tidak perlu diperhatikan

  • Jangan berharap bahwa semua URL di situs Anda akan diindeks. Tujuan Anda adalah memastikan bahwa versi kanonis setiap halaman diindeks. Halaman duplikat atau alternatif akan diberi label "Dikecualikan" dalam laporan ini. Halaman duplikat atau alternatif pada intinya memiliki konten yang sama dengan halaman kanonis. Jika suatu halaman ditandai sebagai duplikat atau alternatif, ini merupakan hal yang baik karena mengindikasikan bahwa kami telah menemukan halaman kanonisnya dan mengindeksnya. Anda dapat menemukan halaman kanonis untuk URL mana pun dengan menjalankan Alat Inspeksi URL. Lihat alasan lain penyebab halaman mungkin tidak ditemukan.
  • Jika Anda menambahkan konten baru, Google akan memerlukan waktu beberapa hari untuk mengindeksnya. Anda dapat mengurangi keterlambatan pengindeksan dengan meminta pengindeksan.

Status

Setiap halaman dapat memiliki salah satu dari nilai status berikut:

  • Error: Halaman tidak diindeks. Lihat deskripsi jenis error spesifik untuk mempelajari lebih lanjut error yang terjadi dan cara memperbaikinya. Anda harus memprioritaskan masalah ini terlebih dahulu.
  • Peringatan: Halaman diindeks, tetapi terjadi masalah yang harus Anda ketahui.
  • Dikecualikan: Halaman tidak diindeks karena kami menganggap bahwa Anda menginginkannya demikian. (Misalnya, Anda mungkin sengaja mengecualikannya dengan perintah noindex, atau halaman mungkin merupakan duplikat dari halaman kanonis yang telah kami indeks di situs Anda.)
  • Valid: Halaman diindeks.

Alasan

Setiap status (error, peringatan, valid, dikecualikan) diberikan karena alasan khusus untuk status tersebut. Lihat Deskripsi jenis status di bawah untuk mengetahui deskripsi setiap jenis status dan cara menanganinya.

Validasi

Status validasi untuk masalah ini. Anda harus memprioritaskan perbaikan masalah dengan status validasi "gagal" atau "tidak dimulai".

Tentang validasi

Setelah memperbaiki semua instance masalah spesifik di situs, Anda dapat meminta Google memvalidasi perubahan. Jika semua instance yang diketahui sudah tidak ada, masalah akan ditandai sebagai diperbaiki pada tabel status dan dipindahkan ke bagian bawah tabel. Search Console memantau status validasi masalah secara keseluruhan, serta status setiap instance masalah. Jika semua instance masalah sudah tidak ada, masalah akan dianggap telah diperbaiki. (Untuk rekaman status aktual, lihat Status validasi masalah dan Status validasi instance.)

Selengkapnya tentang masa aktif masalah...

Masa aktif masalah dimulai sejak pertama kali instance dari masalah tersebut terdeteksi di situs, hingga 90 hari setelah instance terakhir ditandai sebagai sudah tidak ada di situs. Jika 90 hari berlalu tanpa ada perulangan, masalah akan dihapus dari histori laporan.

Tanggal pertama kali terdeteksinya masalah adalah waktu pertama kali masalah terdeteksi selama masa aktif masalah, dan tidak mengalami perubahan. Jadi:

  • Jika semua instance masalah telah diperbaiki, namun ada instance masalah yang baru terjadi 15 hari kemudian, masalah akan ditandai sebagai terbuka, dan tanggal "pertama kali terdeteksi" tetap menjadi tanggal aslinya.
  • Jika masalah yang sama terjadi 91 hari setelah instance terakhir diperbaiki, masalah sebelumnya akan ditutup, dan masalah ini dicatat sebagai masalah baru, dengan tanggal terdeteksi pertama kali ditetapkan pada "hari ini".

Alur validasi dasar

Berikut ini ringkasan proses validasi setelah Anda mengklik Validasi Perbaikan untuk masalah. Proses ini dapat memerlukan waktu beberapa hari, dan Anda akan menerima notifikasi progres melalui email.

  1. Saat Anda mengklik Validasi Perbaikan, Search Console langsung memeriksa beberapa halaman.
    • Jika instance saat ini ada di salah satu halaman tersebut, validasi akan berakhir, dan status validasi tetap tidak berubah.
    • Jika halaman contoh tidak memiliki error saat ini, validasi akan dilanjutkan dengan status Dimulai. Jika validasi menemukan masalah lain yang tidak terkait, masalah tersebut akan dianggap sebagai jenis masalah lain dan validasi dilanjutkan.
  2. Search Console bekerja melalui daftar URL yang diketahui, yang terpengaruh oleh masalah ini. Antrean untuk crawling ulang hanya berisi URL dengan instance masalah yang diketahui, bukan keseluruhan situs. Search Console menyimpan rekaman semua URL yang diperiksa pada histori validasi, yang dapat dibuka di halaman detail masalah.
  3. Saat URL diperiksa:
    1. Jika masalah tidak ditemukan, status validasi instance berubah menjadi Lulus. Jika ini adalah instance pertama yang diperiksa setelah validasi dimulai, status validasi masalah berubah menjadi Terlihat bagus.
    2. Jika URL tidak lagi dapat dijangkau, status validasi instance berubah menjadi Lainnya (bukan merupakan status error).
    3. Jika instance masih ada, status masalah berubah menjadi Gagal dan validasi berakhir. Jika ini adalah halaman baru yang ditemukan dengan crawling normal, halaman ini akan dianggap sebagai instance lain dari masalah yang ada.
  4. Jika semua URL peringatan dan error telah diperiksa dan jumlah masalahnya adalah 0, status masalah akan berubah menjadi Lulus. Penting: Meskipun jumlah halaman yang terpengaruh berkurang hingga 0 dan status masalah berubah menjadi Lulus, label tingkat keparahan asli akan tetap ditampilkan (Error atau Peringatan).

Meskipun Anda tidak pernah mengklik "mulai validasi" Google dapat mendeteksi instance masalah yang telah diperbaiki. Jika Google mendeteksi bahwa semua instance masalah telah diperbaiki selama crawl regulernya, status masalah akan berubah menjadi "T/A" pada laporan.

Kapan masalah dianggap sebagai "diperbaiki" untuk URL atau item?

Masalah ditandai sebagai diperbaiki untuk URL atau item saat salah satu ketentuan berikut terpenuhi:

  • Saat URL di-crawl dan masalahnya tidak ditemukan lagi di halaman. Untuk error tag AMP, hal ini dapat berarti bahwa Anda telah memperbaiki tag atau tag tersebut telah dihapus (jika tag tidak diperlukan). Selama upaya validasi, status masalah akan dianggap sebagai "lulus".
  • Jika halaman tidak tersedia untuk Google dengan alasan apa pun (halaman dihapus, ditandai noindex, perlu autentikasi, dan sebagainya), masalah tersebut akan dianggap sebagai diperbaiki untuk URL tersebut. Selama upaya validasi dilakukan, masalah akan dianggap dalam status validasi "lainnya".

Validasi ulang

Saat Anda mengklik Validasi ulang untuk validasi yang gagal, validasi akan dimulai ulang untuk semua instance yang gagal, serta instance baru apa pun dari masalah ini yang ditemukan melalui crawling normal.

Anda harus menunggu siklus validasi selesai sebelum meminta siklus validasi lagi, meskipun Anda telah memperbaiki beberapa masalah selama siklus saat ini.

Instance yang telah lulus validasi (ditandai sebagai Lulus) atau tidak dapat dijangkau lagi (ditandai sebagai Lainnya) tidak akan diperiksa lagi dan dihapus dari histori saat Anda mengklik Validasi ulang.

Histori validasi

Anda dapat melihat progres permintaan validasi dengan mengklik link detail validasi di halaman detail masalah.

Entri di halaman histori validasi dikelompokkan berdasarkan URL untuk laporan AMP dan laporan Status Indeks. Dalam laporan Kegunaan Seluler dan Hasil Kaya, item dikelompokkan berdasarkan kombinasi URL + item data terstruktur (seperti yang ditentukan berdasarkan nilai Nama item). Status validasi berlaku untuk masalah tertentu yang Anda periksa. Anda dapat memiliki satu masalah berlabel "Lulus" di halaman, tetapi masalah lainnya berlabel "Gagal", "Tertunda", atau "Lainnya".

Status validasi masalah

Status validasi berikut berlaku untuk masalah tertentu:

  • Belum dimulai: Ada satu atau beberapa halaman dengan instance masalah ini yang belum pernah Anda coba validasi. Langkah berikutnya:
    1. Klik masalah untuk mempelajari detail error-nya. Periksa setiap halaman untuk melihat contoh error pada halaman aktif menggunakan Pengujian AMP. (Jika Pengujian AMP tidak menampilkan error pada halaman, ini terjadi karena Anda telah memperbaiki error pada halaman aktif setelah Google menemukan error dan membuat laporan masalah ini.)
    2. Klik "Pelajari lebih lanjut" pada halaman detail untuk melihat detail aturan yang telah dilanggar.
    3. Klik contoh baris URL pada tabel untuk mendapatkan detail tentang error tersebut.
    4. Perbaiki halaman, lalu klik Validasi perbaikan agar Google meng-crawl ulang halaman. Google akan memberi tahu Anda tentang progres validasi. Harap bersabar karena validasi dapat memakan waktu beberapa hari hingga kira-kira 2 minggu. 
  • Dimulai:  Anda telah memulai upaya validasi dan belum ada sisa instance masalah yang ditemukan. Langkah berikutnya: Google akan mengirimkan notifikasi saat validasi berjalan, yang memberi tahu Anda tindakan yang harus dilakukan, jika perlu.
  • Terlihat bagus: Anda telah memulai upaya validasi, dan semua instance masalah yang diperiksa telah diperbaiki. Langkah berikutnya: Tidak ada tindakan yang harus dilakukan, tetapi Google akan mengirimkan notifikasi saat validasi berjalan, yang memberi tahu Anda tindakan yang harus dilakukan.
  • Lulus: Semua instance masalah yang diketahui sudah tidak ada (atau URL yang terpengaruh tidak tersedia lagi). Status ini muncul karena Anda telah mengklik "Validasi perbaikan" (jika instance tidak muncul tanpa adanya permintaan validasi, statusnya akan berubah menjadi T/A). Langkah berikutnya: Tidak ada lagi tindakan yang harus dilakukan.
  • T/A: Google menemukan bahwa masalah telah diperbaiki pada semua URL, meskipun Anda belum pernah memulai upaya validasi. Langkah berikutnya: Tidak ada lagi tindakan yang harus dilakukan.
  • Gagal: Ambang batas tertentu dari halaman masih berisi masalah ini, setelah Anda mengklik "Validasi". Langkah berikutnya: Perbaiki masalah dan validasi ulang.

Status validasi instance

Setelah validasi diminta, setiap instance masalah diberi salah satu status validasi berikut:

  • Validasi tertunda: Menunggu validasi diproses. Terakhir kali Google memeriksanya, instance masalah ini sudah ada.
  • Lulus: [Tidak tersedia di semua laporan] Google telah memeriksa masalah tersebut dan laporan sudah tidak ada lagi. Status ini hanya bisa didapatkan jika Anda secara eksplisit mengklik Validasi untuk instance masalah ini.
  • Gagal: Google memeriksa instance masalah, dan instance tersebut masih ada. Status ini hanya bisa didapatkan jika Anda secara eksplisit mengklik Validasi untuk instance masalah ini.
  • Lainnya: [Tidak tersedia di semua laporan] Google tidak dapat menjangkau URL yang meng-hosting instance tersebut, atau (untuk data terstruktur) tidak dapat lagi menemukan item pada halaman apa pun. Dianggap setara dengan Lulus.

Perlu diketahui bahwa URL yang sama dapat memiliki status yang berbeda untuk masalah yang berbeda. Misalnya, jika sebuah halaman memiliki masalah X dan masalah Y, masalah X dapat memiliki status validasi Lulus dan masalah Y pada halaman yang sama dapat memiliki status validasi Tertunda.

Filter drop-down penemuan URL

Gunakan filter drop-down di atas diagram untuk memfilter hasil indeks menurut cara Google menemukan URL. Nilai berikut tersedia:

  • Semua halaman yang diketahui [Default] - Menampilkan semua URL yang ditemukan oleh Google dengan cara apa pun.
  • Semua halaman yang dikirim - Hanya menampilkan halaman yang dikirim dalam peta situs ke laporan ini atau dengan ping peta situs.
  • URL peta situs tertentu - Hanya menampilkan URL yang tercantum dalam peta situs tertentu yang dikirim menggunakan laporan ini. Hal ini meliputi setiap URL dalam peta situs bertingkat.

URL akan dianggap telah dikirim oleh peta situs meskipun juga ditemukan melalui beberapa mekanisme lainnya (misalnya melalui crawling organik dari halaman lain).

Halaman detail

Klik baris di halaman ringkasan untuk membuka halaman detail kombinasi status + alasan tersebut. Anda dapat melihat detail masalah yang dipilih dengan mengklik Pelajari lebih lanjut di halaman detail.

Grafik di halaman ini menunjukkan jumlah halaman yang terpengaruh dari waktu ke waktu.

Tabel menunjukkan daftar contoh halaman yang terpengaruh oleh masalah ini:

  • Buka URL dalam tabel dengan mengklik link jump pada baris tabel.
  • Periksa URL dalam tabel dengan mengklik ikon periksa pada baris tabel.
  • Setelah memperbaiki semua error atau peringatan yang muncul, Anda dapat meminta Google untuk memvalidasi perbaikan yang telah dilakukan.

URL ditandai dengan masalah yang telah Anda perbaiki? Mungkin Anda memperbaiki masalah SETELAH terakhir kali Google melakukan crawling. Oleh karena itu, jika melihat URL dengan masalah yang telah Anda perbaiki, pastikan untuk memeriksa tanggal crawl URL tersebut. Periksa dan konfirmasikan perbaikan, lalu minta pengindeksan ulang

Sumber

Nilai Sumber pada halaman detail menunjukkan jenis agen pengguna (Smartphone atau Desktop) yang digunakan untuk meng-crawl URL yang tercantum. Setiap jenis agen pengguna menyimulasikan pengguna yang mengunjungi halaman dari jenis perangkat tertentu (seluler atau desktop).

 

Membagikan laporan

Anda dapat membagikan detail masalah di laporan cakupan atau penyempurnaan dengan mengklik tombol Bagikan di halaman. Link ini memberikan akses hanya ke halaman detail masalah saat ini, juga halaman histori validasi untuk masalah ini, kepada siapa pun yang memiliki link. Link tidak memberikan akses ke halaman lain resource Anda atau memungkinkan pengguna bersama melakukan tindakan apa pun di properti atau akun Anda. Anda dapat mencabut link kapan saja dengan menonaktifkan fitur berbagi untuk halaman ini.

Mengekspor data laporan

Banyak laporan yang menyediakan tombol ekspor untuk mengekspor data laporan. Data diagram dan tabel diekspor.

Pemecahan masalah

Anda dapat mengonfirmasi status pengindeksan setiap URL yang ditampilkan dalam laporan ini dengan memeriksa URL sebagai berikut:

  1. Dari halaman detail, klik salah satu URL dalam tabel contoh untuk membuka panel samping yang mencantumkan opsi pengujian.
  2. Di panel samping, klik Periksa URL untuk melihat detail lebih lanjut tentang versi Indeks Google dari halaman tersebut.
  3. Dalam laporan yang diindeks, periksa bagian Cakupan > Crawl dan Cakupan > Pengindeksan untuk melihat detail tentang status crawl dan indeks halaman. Untuk menguji versi langsung halaman, klik Uji URL langsung.

Masalah umum

Berikut adalah beberapa masalah pengindeksan paling umum yang mungkin Anda lihat dalam laporan ini:

Penurunan total halaman yang diindeks tanpa error yang sesuai

Jika melihat adanya penurunan pada jumlah total halaman yang diindeks tetapi tidak ada error terkait yang muncul, Anda mungkin memblokir akses ke halaman yang ada (melalui robots.txt, 'noindex', atau login wajib), tetapi hanya untuk halaman yang belum Anda kirim untuk diindeks. Jika sudah mengirimkan halaman untuk diindeks, Anda akan melihat sekumpulan error yang terkait. Lihat URL yang Dikecualikan untuk mengetahui lonjakan yang terkait dengan penurunan halaman yang Valid.

Halaman yang Dikecualikan lebih banyak dari halaman Valid

Jika Anda melihat lebih banyak halaman Dikecualikan daripada halaman Valid, lihat alasan pengecualian. Alasan umum pengecualian meliputi:

  • Anda memiliki aturan robots.txt yang memblokir Google agar tidak meng-crawl bagian besar situs Anda. Jika Anda memblokir halaman yang salah, batalkan pemblokirannya.
  • Situs Anda memiliki banyak halaman duplikat, mungkin karena halaman tersebut menggunakan parameter untuk memfilter atau mengurutkan koleksi umum (contohnya: type=dress atau color=green atau sort=price). Jika halaman hanya menampilkan konten sama yang diurutkan, difilter atau dijangkau dengan cara yang berbeda, halaman tersebut mungkin sebaiknya dikecualikan. Jika Anda adalah pengguna tingkat lanjut, dan merasa bahwa Google salah memahami parameter di situs, Anda dapat menggunakan Alat Parameter URL untuk menyesuaikan penanganan parameter situs Anda.
Lonjakan error

Lonjakan error mungkin disebabkan oleh adanya perubahan pada template yang menimbulkan error baru, atau mungkin Anda telah mengirimkan peta situs berisi URL yang tidak dapat di-crawl (misalnya karena diblokir oleh robots.txt atau noindex, atau persyaratan login). Lihat masalah yang muncul, lalu periksa halaman untuk mencari tahu error tersebut.

Jika Anda melihat lonjakan error:

  1. Coba temukan keterkaitan antara jumlah total error pengindeksan atau jumlah total halaman yang diindeks dan garis lonjakan di samping baris error tertentu pada halaman ringkasan untuk mencari tahu masalah yang mungkin memengaruhi jumlah total error atau jumlah total halaman yang diindeks.
  2. Klik setiap baris error yang tampaknya menjadi penyebab lonjakan error guna membuka halaman detail yang menyertakan informasi selengkapnya. Baca deskripsi tentang jenis error tertentu guna mempelajari cara terbaik untuk mengatasinya.
  3. Perbaiki semua error yang muncul, lalu minta validasi dengan mengklik Validasi Perbaikan di halaman detail untuk alasan tersebut. Baca selengkapnya tentang validasi.
  4. Anda akan mendapatkan notifikasi selama proses validasi berjalan, tetapi silakan kembali setelah beberapa hari untuk memastikan apakah jumlah error sudah berkurang.
  5. Secara rutin, hapus filter untuk URL yang dikecualikan, urutkan URL menurut jumlah halaman yang terpengaruh, lalu pindai URL untuk mendeteksi masalah yang tidak diinginkan.
Error server
Error server berarti Googlebot tidak dapat mengakses URL Anda, waktu permintaan habis, atau situs Anda sedang sibuk. Akibatnya, Googlebot terpaksa membatalkan permintaan.

Menguji konektivitas server

Anda dapat menggunakan Alat Inspeksi URL untuk melihat apakah Anda dapat memunculkan kembali error server yang dilaporkan oleh laporan Cakupan Indeks.

Memperbaiki error konektivitas server

  • Kurangi pemuatan halaman yang berlebihan untuk permintaan halaman dinamis.
    Situs yang menayangkan konten yang sama untuk beberapa URL akan dianggap menayangkan konten secara dinamis (misalnya, www.example.com/shoes.php?color=red&size=7 menayangkan konten yang sama seperti www.example.com/shoes.php?size=7&color=red). Halaman dinamis dapat sangat lama merespons sehingga menyebabkan masalah habisnya waktu tunggu. Atau, server mungkin menampilkan status kelebihan muatan untuk meminta Googlebot meng-crawl situs secara lebih lambat. Secara umum, kami merekomendasikan agar daftar parameter tetap dibuat singkat dan digunakan secara efektif. Jika telah yakin tentang cara kerja parameter untuk situs, Anda dapat memberi tahu Google cara menangani parameter ini.
  • Pastikan server hosting situs Anda aktif, tidak kelebihan beban, atau salah konfigurasi.
    Jika masalah sambungan, waktu tunggu, atau respons tetap ada, periksa penghosting web Anda dan pertimbangkan untuk meningkatkan kemampuan situs Anda dalam menangani traffic.
  • Pastikan Anda tidak memblokir Google tanpa disengaja.
    Anda mungkin telah memblokir Google karena terdapat masalah di level sistem, seperti masalah konfigurasi DNS, kesalahan konfigurasi firewall atau sistem perlindungan DoS, atau konfigurasi sistem pengelolaan konten. Sistem perlindungan merupakan bagian penting untuk hosting yang baik dan sering dikonfigurasi untuk secara otomatis memblokir permintaan server yang sangat tinggi secara tidak wajar. Akan tetapi, karena Googlebot sering melakukan permintaan lebih banyak daripada pengguna manusia, tindakan ini dapat memicu sistem perlindungan tersebut, yang mengakibatkan pemblokiran Googlebot dan membuatnya tidak dapat meng-crawl situs Anda. Untuk memperbaiki masalah tersebut, identifikasi bagian mana dari infrastruktur situs Anda yang memblokir Googlebot dan hentikan pemblokiran tersebut. Mungkin Anda tidak dapat mengontrol firewall, sehingga Anda harus membicarakannya dengan penyedia hosting.
  • Kontrol pengindeksan dan crawling situs mesin telusur dengan bijak.
    Beberapa webmaster mencegah Googlebot menjangkau situsnya dengan sengaja, mungkin menggunakan firewall seperti yang dijelaskan di atas. Dalam hal ini, tujuannya biasanya bukan untuk memblokir Googlebot sepenuhnya, namun untuk mengontrol cara situs di-crawl dan diindeks. Jika ini terjadi pada Anda, periksa hal-hal berikut:
Error 404

Secara umum, sebaiknya hanya perbaiki halaman yang menampilkan error 404, bukan dikecualikan 404. URL error 404 adalah URL yang secara eksplisit Anda minta untuk diindeks oleh Google, tetapi tidak ditemukan. URL dikecualikan 404 adalah URL yang ditemukan Google melalui beberapa mekanisme lainnya.

Evaluasi dan perbaiki error 404.

Halaman atau situs tidak muncul

Jika halaman Anda tidak ada dalam laporan, salah satu hal berikut mungkin benar:

  • Google tidak mengetahui halaman tersebut. Beberapa catatan tentang visibilitas halaman:
    • Jika halaman ini merupakan situs atau halaman baru, perlu diingat bahwa Google memerlukan waktu untuk menemukan dan meng-crawl situs atau halaman baru.
    • Agar Google dapat mempelajari suatu halaman, Anda harus mengirimkan peta situs atau permintaan crawl halaman; jika tidak, Google harus menemukan link ke halaman Anda di suatu tempat.
    • Setelah URL halaman diketahui, perlu beberapa saat (hingga beberapa minggu) sebelum Google meng-crawl sebagian atau seluruh situs Anda.
    • Pengindeksan tidak pernah instan, bahkan saat Anda mengirim permintaan crawling secara langsung.
  • Google tidak dapat menjangkau halaman Anda (halaman memerlukan login atau tidak tersedia untuk semua pengguna di internet)
  • Halaman memiliki tag noindex yang mencegah Google mengindeksnya, atau
  • Halaman dihapus dari indeks karena beberapa alasan.

Langkah perbaikan:

Gunakan Alat Inspeksi URL untuk menguji masalah di halaman Anda. Jika halaman tidak tercantum dalam Laporan Cakupan Indeks, tetapi dicantumkan sebagai diindeks dalam Laporan Inspeksi URL, halaman tersebut mungkin baru saja diindeks, dan akan segera muncul dalam Laporan Cakupan Indeks. Jika halaman dicantumkan sebagai tidak diindeks pada alat Inspeksi URL (yang Anda harapkan), uji halaman aktifnya. Hasil pengujian halaman aktif akan menunjukkan masalahnya: gunakan informasi dari pengujian dan dokumentasi pengujian untuk mempelajari cara memperbaiki masalah tersebut.

Error dan pengecualian "Dikirim tetapi/Dikirim dan"
Alasan pengindeksan apa pun yang menggunakan kata "Dikirim" di judul (misalnya, "Dikirim namun URL memiliki masalah crawling", berarti URL tercantum dalam peta situs yang dirujuk oleh file robots.txt atau dikirim menggunakan laporan Peta Situs.
Untuk memperbaiki masalah "Dikirim":
  • Perbaiki masalah yang mencegah halaman di-crawl, atau
  • Hapus URL dari peta situs Anda, lalu kirim kembali peta situs dalam laporan Peta Situs (untuk layanan tercepat), atau
  • Dengan menggunakan laporan Peta Situs, hapus peta situs yang berisi URL tersebut (dan pastikan tidak ada peta situs yang tercantum dalam file robots.txt Anda yang menyertakan URL ini).

Pertanyaan Umum (FAQ)

Mengapa halaman saya diindeks? Saya tidak menginginkannya.

Google dapat mengindeks URL apa pun yang ditemukannya, kecuali Anda menyertakan perintah noindex pada halaman tersebut (atau halaman telah diblokir sementara), dan Google dapat menemukan halaman dengan berbagai cara, termasuk melalui seseorang yang menautkan ke halaman Anda dari situs lain.

Mengapa situs saya belum diindeks ulang belakangan ini?

Google mengindeks ulang halaman berdasarkan beberapa kriteria, termasuk seberapa sering halaman tersebut berubah menurut Google. Jika situs Anda tidak sering berubah, hal ini mungkin menyebabkan rasio pembaruan indeks yang lambat, yang sebenarnya tidak masalah jika halaman Anda belum berubah. Jika menurut Anda situs memerlukan pembaruan, minta Google untuk meng-crawl ulang situs.

Bisakah Anda meng-crawl ulang halaman/situs saya?

Minta Google untuk meng-crawl ulang.

Mengapa begitu banyak halaman saya yang dikecualikan?

Lihatlah alasan pengecualian yang diperinci dalam laporan Cakupan Indeks. Sebagian besar pengecualian disebabkan oleh salah satu alasan berikut:

  • Anda memiliki aturan robots.txt yang menghalangi Google meng-crawl sebagian besar situs Anda. Gunakan alat Inspeksi URL untuk memastikan masalahnya.
  • Situs Anda memiliki banyak halaman duplikat, biasanya karena menggunakan parameter untuk memfilter atau mengurutkan kumpulan yang sama (misalnya: type=dress atau color=green atau sort=price). Halaman-halaman tersebut akan diberi label sebagai "duplikat" atau "alternatif" dalam laporan Cakupan Indeks.
  • URL halaman tersebut dialihkan ke URL lain. URL pengalihan tidak diindeks, sedangkan target pengalihan diindeks.

Google tidak dapat mengakses peta situs saya

Pastikan peta situs Anda tidak diblokir oleh robots.txt, valid, dan Anda menggunakan URL yang benar dalam entri robots.txt atau pengiriman laporan Peta Situs. Uji URL peta situs menggunakan alat pengujian peta situs yang tersedia secara luas.

Mengapa Google terus meng-crawl halaman yang telah dihapus?

Google terus meng-crawl semua URL yang dikenal bahkan setelah muncul error 4XX untuk beberapa saat, sebagai jaga-jaga seandainya ini merupakan error sementara. Satu-satunya situasi ketika URL tidak akan di-crawl adalah saat URL menampilkan perintah noindex.

Agar tidak menampilkan daftar error 404 yang semakin panjang, Laporan Cakupan Indeks hanya memperlihatkan URL yang pernah menampilkan error 404 dalam sebulan terakhir.

Saya dapat melihat halaman saya, mengapa Google tidak?

Gunakan Alat Inspeksi URL untuk mengetahui apakah Google dapat melihat halaman aktifnya. Jika tidak, penyebabnya akan dijelaskan. Jika bisa, masalahnya kemungkinan terletak pada error akses yang telah diperbaiki sejak crawling terakhir. Jalankan crawling langsung menggunakan Alat Inspeksi URL dan minta pengindeksan.

Alat Inspeksi URL tidak menunjukkan masalah, tetapi laporan Cakupan Indeks menunjukkan error. Mengapa?

Anda mungkin telah memperbaiki error tersebut setelah kali terakhir URL di-crawl oleh Google. Lihat tanggal crawl URL Anda (yang dapat dilihat di halaman detail URL dalam Laporan Cakupan Indeks atau dalam tampilan versi yang diindeks di alat Inspeksi URL). Pastikan apakah Anda pernah melakukan perbaikan sejak halaman tersebut di-crawl.

Bagaimanakah cara menemukan status indeks dari URL tertentu?

Untuk mengetahui status indeks dari URL tertentu, gunakan Alat Inspeksi URL. Anda tidak dapat mencari atau memfilter berdasarkan URL di laporan Cakupan Indeks.

Alasan status

Berikut adalah kemungkinan alasan untuk setiap status masalah:

Error


Halaman yang berisi error belum diindeks.


Error server (5xx): Server Anda menampilkan error 500 level ketika halaman tersebut diminta. Lihat Memperbaiki error server.

Error pengalihan: Google mengalami error pengalihan dengan salah satu jenis error berikut: Rantai pengalihan yang terlalu panjang; pengalihan balik; URL pengalihan yang akhirnya melebihi panjang maksimal URL; terdapat URL yang buruk atau kosong dalam rantai pengalihan. Gunakan fitur proses debug web, seperti Lighthouse, untuk mendapatkan detail selengkapnya tentang pengalihan tersebut.

URL yang dikirim diblokir oleh robots.txt: Anda mengirimkan halaman ini untuk pengindeksan, tetapi halaman diblokir oleh file robots.txt situs Anda.

  1. Klik halaman dalam tabel Contoh untuk membuka panel samping fitur.
  2. Klik Uji pemblokiran robots.txt untuk menjalankan penguji robots.txt bagi URL tersebut. Fitur ini akan memperjelas aturan yang memblokir URL tersebut.
  3. Perbarui file robots.txt Anda agar menghapus atau mengubah aturan sebagaimana diperlukan. Anda dapat menemukan lokasi file ini dengan mengklik Lihat robots.txt langsung pada fitur pengujian robots.txt. Jika Anda menggunakan layanan hosting web dan tidak memiliki izin untuk mengubah file ini, telusuri dokumentasi layanan atau hubungi pusat bantuan mereka untuk menyampaikan masalah yang Anda alami.

URL yang dikirimkan ditandai ‘noindex’: Anda mengirimkan halaman ini untuk diindeks, tetapi halaman memiliki perintah 'noindex' dalam tag meta atau header HTTP. Jika ingin halaman ini diindeks, Anda harus menghapus tag atau header HTTP. Gunakan Fitur Inspeksi URL untuk mengonfirmasi error tersebut:

  1. Klik ikon periksa di samping URL dalam tabel.
  2. Pada Cakupan > Pengindeksan > Pengindeksan diizinkan?, laporan akan menunjukkan bahwa noindex memblokir pengindeksan.
  3. Konfirmasikan bahwa tag noindex masih ada dalam versi langsungnya:
    1. Klik Uji URL langsung
    2. Pada Ketersediaan > Pengindeksan > Pengindeksan diizinkan?, lihat apakah perintah noindex masih terdeteksi. Jika noindex sudah tidak ada lagi, Anda dapat mengklik Minta Pengindeksan untuk meminta Google mencoba mengindeks halaman lagi. Jika noindex masih ada, Anda harus menghapusnya agar halaman dapat diindeks.

URL yang dikirim sepertinya merupakan Soft 404: Anda mengirimkan halaman ini untuk diindeks, tetapi server menampilkan sesuatu yang sepertinya merupakan soft 404. Pelajari cara memperbaikinya.

URL yang dikirim menampilkan permintaan tidak sah (401): Anda mengirimkan halaman ini untuk diindeks, tetapi Google mendapatkan respons 401 (tidak sah). Hapus persyaratan otorisasi untuk halaman ini, atau izinkan Googlebot mengakses halaman Anda dengan memverifikasi identitasnya. Anda dapat memverifikasi error ini dengan mengunjungi halaman dalam mode samaran.

URL yang dikirim tidak ditemukan (404): Anda mengirimkan URL yang sebenarnya tidak ada untuk diindeks. Lihat Memperbaiki error 404.

URL yang dikirim memiliki masalah crawl: Anda mengirimkan halaman untuk diindeks, dan Google menemukan error crawling tidak jelas yang tidak termasuk dalam alasan lain mana pun. Coba debug halaman menggunakan Fitur Inspeksi URL.

Peringatan


Halaman dengan status peringatan mungkin perlu Anda perhatikan, dan mungkin sudah atau belum diindeks, berdasarkan hasil tertentu.


Diindeks, meski diblokir oleh robots.txt: Halaman sudah diindeks, meskipun diblokir oleh robots.txt (Google selalu mematuhi robots.txt, namun tidak lagi jika seseorang menaut ke halaman tersebut). Kondisi ini ditandai sebagai peringatan karena kami tidak yakin apakah Anda sengaja memblokir halaman dari hasil penelusuran. Jika Anda memang ingin memblokir halaman ini, robots.txt bukanlah mekanisme yang tepat untuk mencegah agar halaman tidak diindeks. Agar halaman tidak diindeks, sebaiknya gunakan 'noindex' atau wajibkan autentikasi untuk melarang akses anonim. Anda dapat menggunakan penguji robots.txt untuk menentukan aturan mana yang memblokir halaman ini. Karena robots.txt, semua cuplikan yang ditampilkan untuk halaman mungkin akan kurang optimal. Jika tidak ingin memblokir halaman ini, perbarui file robots.txt agar pemblokiran halaman dibatalkan.

Valid

Halaman dengan status yang valid telah diindeks.

Dikirim dan diindeks: Anda mengirimkan URL untuk pengindeksan, dan URL telah diindeks.

Diindeks, tidak dikirimkan di peta situs:URL ditemukan oleh Google dan diindeks. Sebaiknya kirimkan semua URL penting menggunakan peta situs.

Dikecualikan

Halaman berikut ini umumnya tidak diindeks, dan menurut kami hal itu sudah tepat. Halaman ini adalah duplikat dari halaman yang sudah diindeks, atau diblokir dari pengindeksan oleh beberapa mekanisme di situs Anda, atau tidak diindeks karena alasan yang menurut kami bukanlah error.

Dikecualikan oleh tag ‘noindex’: Saat mencoba mengindeks halaman, Google menemukan perintah 'noindex' sehingga halaman tersebut tidak diindeks. Jika Anda memang tidak ingin halaman ini diindeks, perintah ini sudah sesuai. Jika ingin halaman ini diindeks, Anda harus menghapus perintah 'noindex'. Untuk mengonfirmasi kehadiran tag atau perintah ini, minta halaman di browser dan telusuri isi respons dan header respons untuk "noindex". 

Diblokir oleh alat penghapusan halaman: Saat ini halaman diblokir oleh Permintaan penghapusan URL. Jika Anda adalah pemilik situs, Anda dapat menggunakan Alat penghapusan URL untuk melihat siapa yang mengajukan permintaan penghapusan URL. Permintaan penghapusan hanya berlaku selama sekitar 90 hari setelah tanggal penghapusan. Setelah jangka waktu tersebut terlewati, Googlebot dapat kembali dan mengindeks halaman itu, meskipun Anda tidak mengirimkan permintaan indeks lain. Jika Anda tidak ingin halaman diindeks, gunakan 'noindex', yang mewajibkan otorisasi untuk halaman, atau menghapus halaman.

Diblokir oleh robots.txt: Halaman ini menggunakan file robots.txt untuk memblokir Googlebot. Anda dapat memverifikasi halaman ini menggunakan penguji robots.txt. Perlu diketahui bahwa hal ini bukan berarti halaman tidak akan diindeks dengan beberapa cara lain. Jika Google dapat menemukan informasi lain tentang halaman ini tanpa memuatnya, halaman masih dapat diindeks (meskipun hal ini jarang terjadi). Untuk memastikan bahwa halaman tidak diindeks oleh Google, hapus pemblokiran robots.txt dan gunakan perintah 'noindex'.

Diblokir karena adanya permintaan yang tidak sah (401): Halaman menerapkan permintaan otorisasi untuk memblokir Googlebot (respons 401). Agar Googlebot dapat meng-crawl halaman ini, hapus persyaratan otorisasi, atau izinkan Googlebot mengakses halaman Anda.

Anomali crawl: Anomali yang tidak diketahui terjadi saat mengambil URL ini. Hal ini bisa berarti kode respons level 4xx- atau 5xx; coba ambil halaman menggunakan Alat Inspeksi URL untuk melihat apakah halaman tersebut mengalami masalah dalam proses pengambilan. Halaman tersebut tidak diindeks.

Di-crawl - saat ini tidak diindeks: Halaman telah di-crawl oleh Google, tetapi tidak diindeks. Halaman ini mungkin diindeks atau mungkin tidak diindeks di masa mendatang; tidak perlu mengirim ulang URL ini untuk crawling.

Ditemukan - saat ini tidak diindeks: Halaman telah ditemukan oleh Google, tetapi belum di-crawl. Biasanya, Google mencoba meng-crawl URL namun situs kelebihan muatan; oleh karena itu, Google harus menjadwalkan ulang crawl. Itulah alasan tanggal crawl terakhir kosong di laporan.

Halaman alternatif dengan tag kanonis yang tepat: Halaman ini merupakan duplikat dari halaman yang dikenali oleh Google sebagai kanonis. Halaman ini mengarah ke halaman kanonis tersebut dengan benar, sehingga Anda tidak perlu melakukan apa pun.

Duplikat tanpa kanonis pilihan pengguna: Halaman memiliki duplikat, tetapi tidak ada yang ditandai sebagai kanonis. Kami menganggap halaman ini bukan halaman kanonis. Anda seharusnya menandai halaman ini sebagai kanonis secara eksplisit. Periksa URL ini untuk melihat URL kanonis yang dipilih oleh Google.

Duplikat, Google memilih versi kanonis yang berbeda dengan pengguna: Halaman ini ditandai sebagai kanonis untuk sekumpulan halaman, tetapi Google menganggap ada URL lain yang lebih cocok dianggap sebagai kanonis. Google telah mengindeks halaman yang dianggap sebagai kanonis, dan bukan yang ini. Sebaiknya tandai halaman ini secara eksplisit sebagai duplikat URL kanonis. Halaman ini ditemukan tanpa permintaan crawl eksplisit. Periksa URL ini untuk melihat URL kanonis yang dipilih oleh Google.

Tidak ditemukan (404): Halaman menampilkan error 404 saat diminta. Google menemukan URL ini tanpa ada permintaan eksplisit atau peta situs apa pun. Google mungkin telah menemukan URL ini sebagai link dari situs lain, atau mungkin halaman tersebut ada sebelumnya dan telah dihapus. Googlebot mungkin akan terus berupaya meng-crawl URL ini dalam jangka waktu tertentu; tidak ada cara lain untuk membuat Googlebot melupakan URL secara permanen, meskipun halaman akan lebih jarang di-crawl. Respons 404 tidak menjadi masalah, jika disengaja. Jika halaman Anda telah dipindahkan, gunakan pengalihan 301 ke lokasi baru. Baca Memperbaiki error 404

Halaman dihapus karena adanya keluhan hukum: Halaman telah dihapus dari indeks karena adanya keluhan hukum.

Halaman dengan pengalihan: URL ini adalah pengalihan dan tidak ditambahkan ke indeks.

Soft 404: Permintaan halaman menampilkan hal yang dianggap sebagai respons soft 404. Hal ini berarti bahwa halaman menampilkan pesan "tidak ditemukan" yang aman bagi pengguna tanpa kode respons 404 yang sesuai. Sebaiknya tampilkan kode respons 404 untuk halaman yang benar-benar "tidak ditemukan", atau tambahkan lebih banyak informasi ke halaman untuk memberi tahu kami bahwa itu bukan soft 404. Pelajari lebih lanjut

Duplikat, URL yang dikirim tidak dipilih sebagai kanonis: URL ini merupakan sekumpulan URL duplikat tanpa halaman kanonis yang ditandai secara eksplisit. Secara eksplisit Anda meminta URL ini untuk diindeks, tetapi karena URL tersebut adalah duplikat dan Google menganggap bahwa URL lain adalah kandidat yang lebih baik untuk kanonis, Google tidak mengindeks URL ini. Sebagai gantinya, kami mengindeks kanonis yang kami pilih. (Google hanya mengindeks halaman kanonis dalam sekumpulan duplikat.) Perbedaan antara status ini dan "Google memilih versi kanonis yang berbeda dengan pengguna" adalah bahwa, di sini Anda meminta pengindeksan secara eksplisit. Periksa URL ini untuk melihat URL kanonis yang dipilih oleh Google.

Apakah ini membantu?
Bagaimana cara meningkatkannya?