Jika aturan robots.txt memblokir halaman Anda dari Google, halaman tersebut mungkin tidak akan muncul di hasil Google Penelusuran, dan sekalipun muncul, hasilnya tidak akan menyertakan deskripsi.
1. Pastikan bahwa halaman memang diblokir oleh robots.txt
Jika Anda telah memverifikasi kepemilikan situs di Search Console:
- Buka Alat Inspeksi URL.
- Periksa URL yang ditampilkan untuk halaman di hasil penelusuran Google. Pastikan Anda telah memilih properti Search Console yang berisi URL ini.
- Di hasil inspeksi, periksa status bagian Pengindeksan halaman. Jika tertulis Diblokir oleh robots.txt, berarti Anda telah mengonfirmasi masalahnya. Lanjutkan ke bagian berikutnya untuk memperbaiki masalah ini.
Jika belum memverifikasi situs Anda di Search Console:
- Telusuri validator robots.txt.
- Di validator, masukkan URL halaman yang tidak memiliki deskripsi. Gunakan URL yang ditampilkan untuk halaman tersebut di hasil penelusuran Google.
- Jika validator mengatakan bahwa halaman diblokir dari Google, berarti Anda telah mengonfirmasi masalahnya. Lanjutkan ke bagian berikutnya untuk memperbaiki masalah ini.
2. Perbaiki aturan
- Gunakan validator robots.txt untuk mengetahui aturan yang memblokir halaman dan lokasi file robots.txt Anda.
- Perbaiki atau hapus aturan:
- Jika Anda menggunakan layanan hosting situs—misalnya, jika situs Anda menggunakan Wix, Joomla, atau Drupal—kami tidak dapat memberikan panduan spesifik tentang cara memperbarui file robots.txt Anda karena setiap layanan hosting memiliki metodenya masing-masing. Telusuri dokumentasi penyedia hosting Anda untuk mempelajari cara berhenti memblokir halaman atau situs dari Google. Istilah penelusuran yang disarankan: "robots.txt provider_name" atau "unblock page to Google provider_name". Contoh penelusuran: robots.txt Wix
- Jika Anda dapat mengubah file robots.txt secara langsung, hapus aturan atau perbarui sesuai dengan sintaksis robots.txt.
