Sitenizin sayfalarını taramadan önce, robot dışında bırakmış olduğunuz herhangi bir sayfayı taramadığımızdan emin olmak için robot.txt dosyanızı kontrol etmeyi denedik. Ancak, robots.txt dosyanızı almaya çalıştığımızda, sunucunuz bir 5xx (ulaşılamıyor) hatası döndürdü. Bu dosyada listelenen hiçbir sayfayı taramadığımızdan emin olmak için taramamızı erteledik.
Barındırma hizmeti sağlayıcınız Googlebot'u engelliyor olabilir veya güvenlik duvarlarının yapılandırmasıyla ilgili bir sorun olabilir.
Not: Google'ın gördüğü robots.txt dosyası içeriği ile sizin tarayıcınızda gördüğünüz içerik farklıysa, barındırma şirketinizle iletişim kurarak farklı kullanıcı aracılarına farklı robots.txt içeriği gösterebilecek sunucu kurallarını kaldırmalarını isteyin.