Menguji robots.txt Anda dengan Penguji robots.txt

Alat Penguji robots.txt menunjukkan apakah file robots.txt memblokir web crawler Google dari URL tertentu di situs Anda. Misalnya, Anda dapat menggunakan alat ini untuk menguji apakah crawler Googlebot-Image dapat meng-crawl URL gambar yang ingin Anda blokir dari Google Penelusuran Gambar.

 

Membuka Penguji robots.txt

 

Anda dapat mengirimkan URL ke alat Penguji robots.txt. Alat ini beroperasi sebagai Googlebot yang akan memeriksa file robots.txt dan memverifikasi apakah URL telah diblokir dengan benar.

Menguji file robots.txt

  1. Buka alat penguji situs Anda, dan scroll kode robots.txt untuk menemukan peringatan sintaksis dan error logika yang ditandai. Jumlah peringatan sintaksis dan error logika segera ditampilkan di bawah editor. 
  2. Ketik URL halaman pada situs Anda dalam kotak teks di bagian bawah halaman.
  3. Pilih agen pengguna yang ingin Anda simulasikan pada daftar tarik-turun di sebelah kanan kotak teks.
  4. Klik tombol UJI untuk menguji akses.
  5. Periksa untuk melihat apakah tombol UJI sekarang menjadi DITERIMA atau DIBLOKIR untuk mengetahui apakah URL yang Anda masukkan diblokir dari web crawler Google.
  6. Edit file di halaman dan uji kembali jika perlu. Perhatikan bahwa perubahan yang dilakukan pada halaman tidak tersimpan ke situs Anda. Lihat langkah berikutnya.
  7. Salin perubahan ke file robots.txt pada situs. Alat ini hanya menguji salinan yang dihosting pada alat dan tidak mengubah file aktual di situs Anda.

Batasan alat Penguji robots.txt:

  • Alat ini hanya berfungsi dengan properti awalan URL; tidak berfungsi dengan Properti domain.
  • Perubahan yang Anda lakukan di editor alat tidak tersimpan secara otomatis di server web. Anda perlu menyalin dan menempel konten dari editor ke file robots.txt yang tersimpan di server.
  • Alat Penguji robots.txt hanya menguji robots.txt dengan agen pengguna atau perayap web Google, seperti Googlebot. Kami tidak dapat memprediksi penafsiran web crawler lain atas file robots.txt Anda.
Apakah ini membantu?
Bagaimana cara meningkatkannya?
Telusuri
Hapus penelusuran
Tutup penelusuran
Aplikasi Google
Menu utama
Pusat Bantuan Penelusuran
true
83844
false