Laporan robots.txt menunjukkan file robots.txt mana yang ditemukan Google untuk 20 host teratas di situs Anda, kapan terakhir kali file tersebut di-crawl, dan apakah ada peringatan atau error yang ditemukan. Laporan ini juga memungkinkan Anda meminta crawl ulang file robots.txt untuk situasi darurat.
Laporan ini hanya tersedia untuk properti di tingkat domain. Artinya:
- Properti domain (seperti example.com atau m.example.com), atau
- Properti awalan URL tanpa jalur, seperti https://example.com/, tetapi bukan https://example.com/path/.
Melihat file robots.txt dan status crawl
Di Properti domain, laporan menyertakan file robots.txt dari 20 host teratas di properti tersebut.
Untuk setiap file robots.txt yang diperiksa oleh Search Console, Anda dapat melihat informasi berikut:
- Jalur file - URL lengkap tempat Google memeriksa keberadaan file robots.txt. URL hanya akan muncul dalam laporan jika terdapat status Diambil atau Tidak Diambil dalam 30 hari terakhir. Lihat Lokasi file robots.txt.
- Status pengambilan - Status permintaan pengambilan terbaru untuk file ini. Nilai berikut mungkin muncul:
- Tidak Diambil - Tidak ditemukan (404): Terjadi error 404 (file tidak ada) saat meminta file ini. Jika Anda telah memposting file robots.txt di URL yang tercantum, tetapi melihat error ini, coba periksa URL untuk mengetahui apakah ada masalah ketersediaan. File yang menampilkan status Tidak ditemukan (404) selama 30 hari tidak akan muncul lagi dalam laporan (meskipun Google akan terus memeriksanya di latar belakang). Tidak menjadi masalah jika tidak ada error robots.txt; artinya Google dapat meng-crawl semua URL di situs Anda. Untuk mengetahui detail selengkapnya, baca perilaku Google saat terjadi error robots.txt.
- Tidak Diambil - Alasan lainnya: Beberapa masalah lain terjadi saat meminta file ini. Lihat Daftar masalah pengindeksan.
- Diambil: Upaya crawling terakhir berhasil menampilkan file robots.txt. Setiap masalah yang ditemukan saat mengurai file akan dicantumkan di kolom Masalah. Google mengabaikan baris yang berisi masalah dan menggunakan baris yang dapat diurai.
- Diperiksa - Waktu saat terakhir kali Google mencoba meng-crawl URL ini, dalam waktu lokal.
- Ukuran - Ukuran file yang diambil, dalam byte. Jika upaya pengambilan terakhir gagal, bagian ini akan kosong.
- Masalah - Tabel menunjukkan jumlah setiap masalah penguraian dalam konten file saat terakhir diambil. Error akan mencegah penggunaan aturan. Peringatan tidak mencegah penggunaan aturan. Baca perilaku Google saat terjadi error robots.txt. Untuk memperbaiki masalah penguraian, gunakan validator robots.txt.
Melihat versi yang terakhir diambil
Anda dapat melihat versi file robots.txt yang terakhir diambil dengan mengkliknya di daftar file dalam laporan. Error atau peringatan yang ditemukan di file robots.txt akan ditandai pada konten file yang ditampilkan. Anda dapat melihat setiap error dan peringatan menggunakan tombol panah.
Melihat versi yang diambil sebelumnya
Untuk melihat permintaan pengambilan file robots.txt tertentu dalam 30 hari terakhir, klik file dalam daftar file di laporan, lalu klik Versi. Untuk melihat konten file pada versi tersebut, klik versinya. Permintaan disertakan dalam histori hanya jika file yang diambil atau hasil pengambilan berbeda dengan permintaan pengambilan file sebelumnya.
Jika Google mengalami error pengambilan dalam upaya pengambilan terbaru, Google akan menggunakan versi terakhir yang berhasil diambil tanpa error maksimal 30 hari.
Meminta crawl ulang
Anda dapat meminta crawl ulang file robots.txt saat Anda memperbaiki error atau membuat perubahan penting.
Kapan harus meminta crawl ulang
Biasanya, Anda tidak perlu meminta crawl ulang file robots.txt, karena Google sering meng-crawl ulang file robots.txt Anda. Namun, Anda mungkin perlu meminta crawl ulang robots.txt dalam situasi berikut:
- Anda telah mengubah aturan robots.txt untuk berhenti memblokir beberapa URL penting dan ingin memberi tahu Google dengan cepat (perlu diingat bahwa hal ini tidak menjamin crawling ulang langsung dilakukan untuk URL yang sudah tidak diblokir).
- Anda memperbaiki error pengambilan atau error kritis lainnya.
Cara meminta crawl ulang
Untuk meminta crawl ulang, pilih ikon setelan lainnya 
Situs di layanan hosting situs
Jika situs Anda dihosting di layanan hosting situs, mengedit file robots.txt mungkin akan sedikit sulit. Jika demikian, lihat dokumentasi host situs Anda tentang cara memblokir halaman tertentu agar tidak di-crawl atau diindeks oleh Google. (Perhatikan bahwa sebagian besar pengguna ingin mencegah file muncul di Google Penelusuran, bukan mencegahnya di-crawl oleh Google. Jika demikian, telusuri layanan hosting Anda untuk mengetahui informasi tentang cara memblokir halaman dari mesin telusur.)
Yang terjadi jika Google tidak dapat mengambil atau membaca file robots.txt Anda
Jika file robots.txt tidak ditemukan untuk domain atau subdomain, Google akan menganggap semua URL dalam host tersebut dapat di-crawl.
Jika Google menemukan file robots.txt tetapi tidak dapat mengambilnya, Google akan menunjukkan perilaku berikut:
- Selama 12 jam pertama, Google akan berhenti meng-crawl situs tetapi terus mencoba untuk mengambil file robots.txt.
- Jika Google tidak dapat mengambil versi baru, Google akan menggunakan versi terbaik terakhir selama 30 hari ke depan, sambil tetap mencoba mengambil versi baru. Anda dapat melihat versi terbaik terakhir di histori versi.
- Jika error masih belum diperbaiki setelah 30 hari:
- Jika situs dapat diakses oleh Google secara umum, Google akan berperilaku seolah-olah tidak ada file robots.txt (tetapi tetap memeriksa versi baru).
- Jika situs mengalami masalah ketersediaan umum, Google akan berhenti meng-crawl situs, dan tetap meminta file robots.txt secara berkala.
Jika Google menemukan dan dapat mengambil file robots.txt: Google akan membaca file baris demi baris. Baris yang mengalami error atau tidak dapat diuraikan menjadi aturan robots.txt akan dilewati. Jika tidak ada baris yang valid dalam file, Google akan memperlakukannya sebagai file robots.txt kosong, yang berarti tidak ada aturan yang dideklarasikan untuk situs tersebut.
Lokasi file robots.txt
Terminologi:
- Protokol, (juga disebut skema) adalah HTTP atau HTTPS.
- Host tercantum dalam URL setelah protokol (http:// atau https://) hingga jalur. Jadi, host m.de.example.com menyiratkan 3 kemungkinan host: m.de.example.com, de.example.com, dan example.com, yang masing-masing dapat memiliki file robots.txt sendiri.
- Origin adalah protokol + host. Jadi: https://example.com/ atau https://m.example.co.es/
Sesuai dengan RFC 9309, file robots.txt harus berada di root setiap kombinasi host dan protokol situs Anda.
- Search Console memilih 20 host teratas yang diurutkan berdasarkan frekuensi crawling. Untuk setiap domain, laporan dapat menampilkan hingga 2 origin, berarti tabelnya dapat menampilkan maksimal 40 baris. Jika Anda tidak dapat menemukan URL robots.txt untuk salah satu host Anda, buat properti domain untuk subdomain yang tidak ada.
- Untuk setiap host, Search Console akan memeriksa dua URL:
- http://<host>/robots.txt
- https://<host>/robots.txt
- Jika selama 30 hari file robots.txt di URL yang diminta dilaporkan sebagai Tidak ditemukan, Search Console tidak akan menampilkan URL tersebut di laporan ini, meskipun Google akan terus memeriksa URL di latar belakang. Untuk hasil lainnya, laporan akan menampilkan URL yang dicentang.
Untuk properti awalan URL di tingkat host (seperti https://example.com/), Search Console hanya akan memeriksa satu origin untuk properti tersebut. Artinya: untuk properti https://example.com, Search Console hanya akan memeriksa https://example.com/robots.txt, bukan http://example.com/robots.txt atau https://m.example.com/robots.txt.
Tugas umum
Melihat file robots.txt
Untuk membuka file robots.txt yang tercantum dalam laporan ini, klik file dalam daftar file robots.txt. Untuk membuka file di browser, klik Buka robots.txt yang aktif.
Anda dapat membuka semua file robots.txt di web menggunakan browser. Lihat di bawah untuk mempelajari URL yang dapat dikunjungi.
Tempat file robots.txt dapat ditemukan
File robots.txt terletak di root protokol dan domain. Untuk menentukan URL, hapus tulisan setelah host (dan port opsional) di URL file, lalu tambahkan "/robots.txt". Jika ada, Anda dapat membuka file robots.txt di browser. File robots.txt tidak diwarisi oleh subdomain atau domain induk, dan halaman tertentu hanya dapat terpengaruh oleh satu file robots.txt. Beberapa contohnya:
| URL File | URL robots.txt yang dapat memengaruhi file tersebut |
|---|---|
| http://example.com/home | http://example.com/robots.txt |
| https://m.de.example.com/some/page/here/mypage | https://m.de.example.com/robots.txt |
| https://example.com?pageid=234#myanchor | https://example.com/robots.txt |
| https://images.example.com/flowers/daffodil.png | https://images.example.com/robots.txt |
Melihat file robots.txt mana yang memengaruhi halaman atau gambar
Untuk menemukan URL file robots.txt yang memengaruhi halaman atau gambar:
- Temukan URL halaman atau gambar spesifik. Untuk gambar, di browser Google Chrome, klik kanan lalu pilih Salin URL gambar.
- Hapus akhir URL setelah domain level teratas (misalnya, .com, .org, .co.il), lalu tambahkan /robots.txt di bagian akhir. Jadi, file robots.txt untuk https://images.example.com/flowers/daffodil.png adalah https://images.example.com/robots.txt
- Buka URL di browser Anda untuk mengonfirmasi bahwa URL tersebut ada. Jika browser Anda tidak dapat membuka file, berarti file tersebut tidak ada.
Menguji apakah Google diblokir oleh robots.txt
- Jika Anda ingin menguji apakah URL tertentu diblokir oleh file robots.txt, Anda dapat menguji ketersediaan URL dengan Alat Inspeksi URL.
- Jika Anda ingin menguji aturan robots.txt tertentu terhadap file yang belum ada di web, atau menguji aturan baru, Anda dapat menggunakan penguji robots.txt pihak ketiga.
Informasi selengkapnya
- Apa yang dimaksud dengan file robots.txt dan bagaimana cara penggunaannya?
- Cara menerapkan file robots.txt