Sebelum meng-crawl halaman situs, kami mencoba memeriksa file robots.txt Anda untuk memastikan bahwa kami tidak meng-crawl halaman yang dikecualikan. Namun, server Anda menampilkan error 5xx (tidak terjangkau) saat kami mencoba mengambil file robots.txt tersebut. Untuk memastikan bahwa kami tidak meng-crawl halaman apa pun yang tercantum dalam file tersebut, kami menunda crawling.
Penyedia hosting Anda mungkin memblokir Googlebot atau konfigurasi firewall-nya mungkin bermasalah.
Catatan: Jika konten file robots.txt di browser Anda berbeda dengan yang dilihat oleh Google, bekerjasamalah dengan perusahaan hosting Anda untuk menghapus aturan server yang mungkin menampilkan konten robots.txt yang berbeda ke agen pengguna yang berbeda.
