Tentang robots.txt

Mengirim robots.txt yang diperbarui ke Google

Fungsi Kirim alat Penguji robots.txt memungkinkan Anda menempatkan dan meminta Google agar lebih cepat merayapi dan mengindeks file robots.txt baru untuk situs Anda dengan lebih mudah. Perbarui dan beri tahu Google atas perubahan file robots.txt dengan mengikuti langkah di bawah.

1. Klik Kirim di pojok kanan bawah editor robots.txt. Tindakan ini membuka dialog Kirim.

2. Unduh kode robots.txt hasil edit dari laman Penguji robots.txt dengan mengeklik Unduh di dialog Kirim.

3. Unggah file robots.txt yang baru ke akar domain Anda dalam bentuk file teks dengan nama robots.txt (URL untuk file robots.txt sebaiknya /robots.txt).

Jika Anda tidak memiliki izin mengunggah file ke akar domain, sebaiknya hubungi pengelola domain untuk melakukan pengubahan.

Misalnya, jika beranda situs Anda berada di bawah subdomain.example.com/site/example/, Anda mungkin tidak dapat memperbarui file robot  subdomain.example.com/robots.txt. Dalam hal ini, sebaiknya Anda menghubungi pemilik example.com/ untuk melakukan perubahan apa pun yang diperlukan ke file robots.txt.

4. Klik Verifikasi versi aktif untuk melihat apakah robots.txt yang aktif adalah versi yang Anda inginkan agar dirayapi oleh Google.

5. Klik Kirim versi aktif untuk memberi tahu Google bahwa perubahan telah dilakukan ke file robots.txt dan meminta agar Google merayapinya.

6. Periksa apakah versi terbaru Anda berhasil dirayapi oleh Google dengan menyegarkan laman pada browser Anda guna memperbarui editor alat dan melihat kode robots.txt yang aktif. Setelah menyegarkan laman, Anda juga dapat mengeklik menu tarik-turun di atas editor teks untuk melihat stempel waktu saat Google pertama kali melihat versi terbaru file robots.txt Anda.

Apakah ini membantu?
Bagaimana cara meningkatkannya?