Laporan robots.txt menunjukkan file robots.txt mana yang ditemukan Google untuk 20 host teratas di situs Anda, kapan terakhir kali file tersebut di-crawl, dan apakah ada peringatan atau error yang ditemukan. Laporan ini juga memungkinkan Anda meminta crawl ulang file robots.txt untuk situasi darurat.
Laporan ini hanya tersedia untuk properti di tingkat domain. Artinya:
- Properti domain (seperti example.com atau m.example.com), atau
- Properti awalan URL tanpa jalur, seperti https://example.com/, tetapi bukan https://example.com/path/.
Melihat file robots.txt dan status crawl Anda
Di Properti domain, laporan menyertakan file robots.txt dari 20 host teratas di properti tersebut.
Untuk setiap file robots.txt yang diperiksa oleh Search Console, Anda dapat melihat informasi berikut:
- Jalur file - URL lengkap tempat Google memeriksa keberadaan file robots.txt. URL hanya akan muncul dalam laporan jika terdapat status Diambil atau Tidak Diambil dalam 30 hari terakhir. Lihat Lokasi file robots.txt.
- Status pengambilan - Status permintaan pengambilan terbaru untuk file ini. Nilai berikut mungkin muncul:
- Tidak Diambil - Tidak ditemukan (404): Terjadi error 404 (file tidak ada) saat meminta file ini. Jika Anda telah memposting file robots.txt di URL yang tercantum, tetapi melihat error ini, coba periksa URL untuk mengetahui apakah ada masalah ketersediaan. File yang menampilkan status Tidak ditemukan (404) selama 30 hari tidak akan muncul lagi dalam laporan (meskipun Google akan terus memeriksanya di latar belakang). Tidak menjadi masalah jika tidak memiliki file robots.txt, artinya Google dapat meng-crawl semua URL di situs Anda; baca perilaku Google saat terjadi error robots.txtuntuk detail selengkapnya.
- Tidak Diambil - Alasan lainnya: Beberapa masalah lain terjadi saat meminta file ini. Lihat Daftar masalah pengindeksan.
- Diambil: Upaya crawling terakhir berhasil menampilkan file robots.txt. Setiap masalah yang ditemukan saat mengurai file akan dicantumkan di kolom Masalah. Google mengabaikan baris yang berisi masalah dan menggunakan baris yang dapat diurai.
- Diperiksa - Waktu saat terakhir kali Google mencoba meng-crawl URL ini, dalam waktu lokal.
- Ukuran - Ukuran file yang diambil, dalam byte. Jika upaya pengambilan terakhir gagal, bagian ini akan kosong.
- Masalah - Tabel menunjukkan jumlah setiap masalah penguraian dalam konten file saat terakhir diambil. Error akan mencegah penggunaan aturan. Peringatan tidak mencegah penggunaan aturan. Baca perilaku Google saat terjadi error robots.txt. Untuk memperbaiki masalah penguraian, gunakan validator robots.txt.
Melihat versi yang terakhir diambil
Anda dapat melihat versi file robots.txt yang terakhir diambil dengan mengkliknya di daftar file dalam laporan. Error atau peringatan yang ditemukan di file robots.txt akan ditandai pada konten file yang ditampilkan. Anda dapat melihat setiap error dan peringatan menggunakan tombol panah.
Melihat versi yang diambil sebelumnya
Untuk melihat permintaan pengambilan file robots.txt tertentu dalam 30 hari terakhir, klik file dalam daftar file di laporan, lalu klik Versi. Untuk melihat konten file pada versi tersebut, klik versinya. Permintaan disertakan dalam histori hanya jika file yang diambil atau hasil pengambilan berbeda dengan permintaan pengambilan file sebelumnya.
Jika Google mengalami error pengambilan dalam upaya pengambilan terbaru, Google akan menggunakan versi terakhir yang berhasil diambil tanpa error maksimal 30 hari.
Meminta crawl ulang
Anda dapat meminta crawl ulang file robots.txt saat Anda memperbaiki error atau membuat perubahan penting.
Kapan harus meminta crawl ulang
Biasanya, Anda tidak perlu meminta crawl ulang file robots.txt, karena Google sering meng-crawl ulang file robots.txt Anda. Namun, Anda mungkin perlu meminta crawl ulang robots.txt dalam situasi berikut:
- Anda telah mengubah aturan robots.txt untuk berhenti memblokir beberapa URL penting dan ingin memberi tahu Google dengan cepat (perlu diingat bahwa hal ini tidak menjamin crawling ulang langsung dilakukan untuk URL yang sudah tidak diblokir).
- Anda memperbaiki error pengambilan atau error kritis lainnya.
Cara meminta crawl ulang
Untuk meminta crawl ulang, pilih ikon setelan lainnya 
Situs di layanan hosting situs
Jika situs Anda dihosting di layanan hosting situs, mengedit file robots.txt mungkin akan sedikit sulit. Jika demikian, lihat dokumentasi host situs Anda tentang cara memblokir halaman tertentu agar tidak di-crawl atau diindeks oleh Google.
Lokasi file robots.txt
Terminologi:
- Protokol, (juga disebut skema) adalah HTTP atau HTTPS.
- Host tercantum dalam URL setelah protokol (http:// atau https://) hingga jalur. Jadi, host m.de.example.com menyiratkan 3 kemungkinan host: m.de.example.com, de.example.com, dan example.com, yang masing-masing dapat memiliki file robots.txt sendiri.
- Origin adalah protokol + host. Jadi: https://example.com/ atau https://m.example.co.es/
Sesuai dengan RFC 9309, file robots.txt harus berada di root setiap kombinasi host dan protokol situs Anda.
- Search Console memilih 20 host teratas yang diurutkan berdasarkan frekuensi crawling. Untuk setiap domain, laporan dapat menampilkan hingga 2 origin, berarti tabelnya dapat menampilkan maksimal 40 baris. Jika Anda tidak dapat menemukan URL robots.txt untuk salah satu host Anda, buat properti domain untuk subdomain yang tidak ada.
- Untuk setiap host, Search Console akan memeriksa dua URL:
- http://<host>/robots.txt
- https://<host>/robots.txt
- Jika selama 30 hari file robots.txt di URL yang diminta dilaporkan sebagai Tidak ditemukan, Search Console tidak akan menampilkan URL tersebut di laporan ini, meskipun Google akan terus memeriksa URL di latar belakang. Untuk hasil lainnya, laporan akan menampilkan URL yang dicentang.
Untuk properti awalan URL di tingkat host (seperti https://example.com/), Search Console hanya akan memeriksa satu origin untuk properti tersebut. Artinya: untuk properti https://example.com, Search Console hanya akan memeriksa https://example.com/robots.txt, bukan http://example.com/robots.txt atau https://m.example.com/robots.txt.
Tugas umum
Melihat file robots.txt
Untuk membuka file robots.txt yang tercantum dalam laporan ini, klik file dalam daftar file robots.txt. Untuk membuka file di browser, klik Buka robots.txt yang aktif.
Anda dapat membuka semua file robots.txt di web menggunakan browser. Lihat di bawah untuk mempelajari URL yang dapat dikunjungi.
Tempat file robots.txt dapat ditemukan
File robots.txt terletak di root protokol dan domain. Untuk menentukan URL, hapus tulisan setelah host (dan port opsional) di URL file, lalu tambahkan "/robots.txt". Jika ada, Anda dapat membuka file robots.txt di browser. File robots.txt tidak diwarisi oleh subdomain atau domain induk, dan halaman tertentu hanya dapat terpengaruh oleh satu file robots.txt. Beberapa contohnya:
| URL File | URL robots.txt yang dapat memengaruhi file tersebut |
|---|---|
| http://example.com/home | http://example.com/robots.txt |
| https://m.de.example.com/some/page/here/mypage | https://m.de.example.com/robots.txt |
| https://example.com?pageid=234#myanchor | https://example.com/robots.txt |
| https://images.example.com/flowers/daffodil.png | https://images.example.com/robots.txt |
Melihat file robots.txt mana yang memengaruhi halaman atau gambar
Untuk menemukan URL file robots.txt yang memengaruhi halaman atau gambar:
- Temukan URL halaman atau gambar spesifik. Untuk gambar, di browser Google Chrome, klik kanan lalu pilih Salin URL gambar.
- Hapus akhir URL setelah domain level teratas (misalnya, .com, .org, .co.il), lalu tambahkan /robots.txt di bagian akhir. Jadi, file robots.txt untuk https://images.example.com/flowers/daffodil.png adalah https://images.example.com/robots.txt
- Buka URL di browser Anda untuk mengonfirmasi bahwa URL tersebut ada. Jika browser Anda tidak dapat membuka file, berarti file tersebut tidak ada.
Menguji apakah Google diblokir oleh robots.txt
- Jika Anda ingin menguji apakah URL tertentu diblokir oleh file robots.txt, Anda dapat menguji ketersediaan URL dengan Alat Inspeksi URL.
- Jika Anda adalah developer, lihat dan bangun library robots.txt open source Google, yang juga digunakan di Google Penelusuran. Anda dapat menggunakan alat ini untuk menguji file robots.txt secara lokal di komputer.
Informasi selengkapnya
- Apa yang dimaksud dengan file robots.txt dan bagaimana cara penggunaannya?
- Cara menerapkan file robots.txt