Tentang robots.txt

Menguji robots.txt Anda dengan Penguji robots.txt

Alat Penguji robots.txt menunjukkan apakah file robots.txt memblokir perayap web Google dari URL tertentu di situs Anda. Misalnya, Anda dapat menggunakan alat ini untuk menguji apakah perayap Googlebot-Image dapat merayapi URL gambar yang ingin Anda blokir dari Google Penelusuran Gambar.

 

Membuka Penguji robots.txt

 

Anda dapat mengirimkan URL ke alat Penguji robots.txt. Alat ini beroperasi sebagai Googlebot yang akan memeriksa file robots.txt dan memverifikasi apakah URL telah diblokir dengan benar.

Menguji file robots.txt

  1. Buka alat penguji situs Anda, dan gulir kode robots.txt untuk menemukan peringatan sintaksis dan kesalahan logika yang disorot. Jumlah peringatan sintaksis dan kesalahan logika segera ditampilkan di bawah editor. 
  2. Ketik URL laman pada situs Anda dalam kotak teks di bagian bawah laman.
  3. Pilih agen pengguna yang ingin Anda simulasikan pada daftar tarik-turun di sebelah kanan kotak teks.
  4. Klik tombol UJI untuk menguji akses.
  5. Periksa untuk melihat apakah tombol UJI terbaca DITERIMA atau DIBLOKIR untuk mengetahui apakah URL yang Anda masukkan diblokir dari perayap web Google.
  6. Edit file pada laman dan uji kembali bila perlu. Perhatikan bahwa perubahan yang dilakukan pada laman tidak tersimpan ke situs Anda! Lihat langkah berikutnya.
  7. Salin perubahan ke file robots.txt pada situs. Alat ini hanya menguji salinan yang dihosting pada alat dan tidak mengubah file aktual di situs Anda.

Batasan alat Penguji robots.txt:

  • Perubahan yang Anda lakukan di editor alat tidak tersimpan secara otomatis di server web. Anda perlu menyalin dan menempel konten dari editor ke file robots.txt yang tersimpan di server.
  • Alat Penguji robots.txt hanya menguji robots.txt dengan agen pengguna atau perayap web Google, seperti Googlebot. Kami tidak dapat memprediksi penafsiran perayap web lain atas file robots.txt Anda.
Apakah artikel ini membantu?
Bagaimana cara meningkatkannya?