Bir robots.txt kuralıyla Google'ın erişimine kapatılan sayfalar büyük olasılıkla Google arama sonuçlarında görünmez. Görünse bile açıklama içermez.
1. Bir sayfanın robots.txt tarafından engellendiğini onaylama
Search Console'da sitenin sahibi olduğunuzu doğruladıysanız:
- URL Denetleme aracını açın.
- Google arama sonucunda sayfa için gösterilen URL'yi denetleyin. Bu URL'yi içeren Search Console mülkünü seçtiğinizden emin olun.
- Denetleme sonuçlarında, Sayfa dizine ekleme bölümünün durumunu kontrol edin. robots.txt tarafından engellendi yazıyorsa sorun onaylanmış olur. Sorunu düzeltmek için sonraki bölüme geçin.
Search Console'da sitenizi doğrulamadıysanız:
- Bir robots.txt doğrulayıcısı bulun.
- Açıklaması eksik olan sayfanın URL'sini doğrulayıcıya yazın. Google arama sonuçlarında sayfa için gösterilen URL'yi kullanın.
- Doğrulayıcı, sayfanın Google'ın erişimine kapatıldığını söylüyorsa sorun onaylanmış olur. Sorunu düzeltmek için sonraki bölüme geçin.
2. Kuralı düzeltme
- Sayfanızı hangi kuralın engellediğini ve robots.txt dosyanızın nerede olduğunu öğrenmek için bir robots.txt doğrulayıcısı kullanın.
- Kuralı düzeltin veya kaldırın:
- robots.txt dosyaları her barındırma hizmetinde farklı şekillerde güncellenir. Bu nedenle, web sitesi barındırma hizmeti kullanıyorsanız (ör. siteniz; Wix, Joomla veya Drupal'da ise) robots.txt dosyanızı güncelleme konusunda sizi tam olarak yönlendiremeyiz. Google'ın sayfanıza veya sitenize erişim engelinin nasıl kaldırılacağını öğrenmek için barındırma sağlayıcınızın dokümanlarında arama yapın. Aranacak terimler için öneriler: "robots.txt sağlayıcı_adı" veya "Google'ın sayfa engelini kaldır sağlayıcı_adı". Örnek arama: robots.txt Wix
- robots.txt dosyanızda doğrudan değişiklik yapabiliyorsanız kuralı kaldırın veya robots.txt söz dizimine göre güncelleyin.
