Robots.txt raporu, Google'ın sitenizdeki ilk 20 ana makine için hangi robots.txt dosyalarını bulduğunu, bunların en son ne zaman tarandığını ve karşılaşılan uyarı ya da hataları gösterir. Rapor ayrıca bir robots.txt dosyasının acil durumlar için yeniden taranmasını istemenize de olanak tanır.
Bu rapor yalnızca alan düzeyindeki mülklerde kullanılabilir. Yani şunlardan biri olmalıdır:
- Alan mülkü (example.com veya m.example.com gibi) veya
- https://example.com/path/ değil, https://example.com/ gibi yol içermeyen bir URL önek mülkü.
Robots.txt dosyalarınızı ve tarama durumunuzu görme
Bir alan mülkündeki rapor, ilgili mülkteki ilk 20 ana makinenin robots.txt dosyalarını içerir.
Search Console tarafından kontrol edilen her robots.txt dosyası için aşağıdaki bilgileri görebilirsiniz:
- Dosya yolu: Google'ın, robots.txt dosyasının bulunup bulunmadığını kontrol ettiği tam URL. Bir URL yalnızca son 30 gün içindeki herhangi bir zamanda Getirildi veya Getirilmedi durumuna sahipse raporda görünür. Robots.txt dosyalarının konumu konusuna bakın.
- Getirme durumu: Bu dosyaya ilişkin en son getirme isteğinin durumu. Aşağıdaki değerler gösterilebilir:
- Getirilmedi - Bulunamadı (404): Bu dosya istenirken 404 hatası (dosya mevcut değil) oluşmuştur. Listelenen URL'de bir robots.txt dosyası yayınlamanıza rağmen bu hatayı görüyorsanız kullanılabilirlikle ilgili bir sorun olup olmadığını görmek için URL'yi denetlemeyi deneyin. 30 gün boyunca Bulunamadı (404) durumunda olan bir dosya artık raporda görünmez (ancak Google, dosyayı arka planda kontrol etmeye devam eder). Robots.txt hatası olmaması normaldir ve Google'ın, sitenizdeki tüm URL'leri tarayabildiği anlamına gelir. Bununla birlikte, konuyla ilgili ayrıntıların tamamı için Google'ın, robots.txt hatası olduğunda nasıl davrandığını okumanızı öneririz.
- Getirilmedi - Başka bir neden: Bu dosya istenirken başka bir sorun oluştu. Dizine ekleme sorunlarının listesi konusuna bakın.
- Getirildi: Son tarama denemesi başarıyla bir robots.txt dosyası döndürdü. Dosya ayrıştırılırken bulunan sorunlar, Sorunlar sütununda listelenir. Google, sorun içeren satırları yoksayar ve ayrıştırabildiklerini kullanır.
- Kontrol tarihi: Google'ın, yerel saate göre bu URL'yi en son taramaya çalıştığı zaman.
- Boyut: Getirilen dosyanın bayt cinsinden boyutu. Son getirme denemesi başarısız olursa bu alan boş görünür.
- Sorunlar: Tabloda, son getirildiğinde dosya içeriğinde ortaya çıkan tüm ayrıştırma sorunlarının sayısı gösterilir. Hatalar, kuralların kullanılmasını engeller. Uyarılar ise kuralların kullanılmasını engellemez. Google'ın, robots.txt hatası olduğunda nasıl davrandığını okuyun. Ayrıştırma sorunlarını düzeltmek için robots.txt doğrulayıcı kullanın.
En son getirilen sürümü görme
Bir robots.txt dosyasının en son getirilen sürümünü, rapordaki dosya listesinde söz konusu sürümü tıklayarak görebilirsiniz. Robots.txt dosyasında hata veya uyarı varsa bunlar, gösterilen dosya içeriklerinde vurgulanır. Ok tuşlarını kullanarak hatalar ve uyarılar arasında geçiş yapabilirsiniz.
Daha önce getirilen sürümleri görme
Belirli bir robots.txt dosyasının, son 30 gün içindeki getirme isteklerini görmek için rapordaki dosya listesinde ilgili dosyayı ve ardından Sürümler'i tıklayın. Sürümdeki dosya içeriklerini görmek için ilgili sürümü tıklayın. Bir istek yalnızca alınan dosya veya getirme sonucu önceki dosya getirme isteğinden farklıysa geçmişe dahil edilir.
Google, son getirme denemesinde bir getirme hatasıyla karşılaşırsa son 30 gün içinde başarılı şekilde getirilen ve hata içermeyen son sürümü kullanır.
Yeniden tarama isteğinde bulun
Bir hatayı düzelttiğinizde veya önemli bir değişiklik yaptığınızda robots.txt dosyasının yeniden taranmasını isteyebilirsiniz.
Ne zaman yeniden tarama isteğinde bulunabilirsiniz?
Google, robots.txt dosyalarınızı sık sık yeniden taradığından genellikle bir robots.txt dosyasının yeniden taranmasını istemenize gerek yoktur. Ancak, aşağıdaki durumlarda robots.txt dosyanızın yeniden taranmasını isteyebilirsiniz:
- Bazı önemli URL'lerin engellemesini kaldırmak için robots.txt kurallarınızı değiştirdiyseniz ve bunu Google'a hızlı bir şekilde bildirmek istiyorsanız (bu durumda, engellenen URL'lerin hemen yeniden taranacağının garanti edilmediğini unutmayın).
- Getirme hatasını veya önemli başka bir hatayı düzelttiyseniz.
Yeniden tarama isteğinde bulunma
Yeniden tarama isteğinde bulunmak için robots dosya listesindeki bir dosyanın yanında bulunan diğer ayarlar simgesini 
Web sitesi barındırma hizmetlerindeki web siteleri
Web siteniz bir web sitesi barındırma hizmetinde barındırılıyorsa robots.txt dosyanızı düzenlemek kolay olmayabilir. Bu durumda site barındırma hizmetinizin, belirli sayfaların Google tarafından taranmasını veya dizine eklenmesini engellemeyle ilgili dokümanlarına bakın. (Çoğu kullanıcının, dosyaların Google tarafından taranmasından ziyade Google Arama'da görünmesini engellemek istediğini unutmayın. Sizin endişeniz de bu yöndeyse sayfaların, arama motorlarından engellenmesiyle ilgili bilgi edinmek için barındırma hizmetinizde arama yapın.)
Google, robots.txt dosyanızı getiremediğinde veya okuyamadığında ne olur?
Alan adı veya alt alan adı için robots.txt dosyası bulunamazsa Google, söz konusu ana makinedeki herhangi bir URL'yi tarayabildiğini varsayar.
Google bir robots.txt dosyası bulur ancak getiremezse şu davranışı uygular:
- Google, ilk 12 saat boyunca siteyi taramayı durdurur, ancak robots.txt dosyasını getirmeye çalışmaya devam eder.
- Google yeni bir sürümü getiremezse önümüzdeki 30 gün boyunca yeni bir sürüm getirmeye çalışırken en son iyi olan sürümü kullanır. En son iyi olan sürümü, sürüm geçmişinde görebilirsiniz.
- Hatalar 30 gün geçtikten sonra düzeltilmezse:
- Site genel olarak Google tarafından kullanılabiliyorsa Google, robots.txt dosyası yokmuş gibi davranır (ancak yeni sürümü kontrol etmeye devam eder).
- Sitede genel kullanılabilirlik sorunları varsa Google, siteyi taramayı durdurur ve düzenli aralıklarla robots.txt dosyası istemeye devam eder.
Google bir robots.txt dosyası bulup getirebilirse: Google, dosyayı satır satır okur. Hata içeren veya robots.txt kuralına ayrıştırılamayan satır atlanır. Dosyada geçerli satır yoksa Google bunu boş bir robots.txt dosyası olarak değerlendirir, yani site için hiçbir kural bildirilmez.
Robots.txt dosyalarının konumu
Terminoloji:
- Protokol, (şema olarak da adlandırılır) HTTP ya da HTTPS'dir.
- Ana makine, protokolden (http:// veya https://) yola kadar URL'de bulunan her şeydir. Dolayısıyla, m.de.example.com ana makinesi; m.de.example.com, de.example.com ve example.com olmak üzere 3 olası ana makine anlamına gelir. Bunların her biri kendi robots.txt dosyasına sahip olabilir.
- Kaynak, protokol ve ana makinedir. Yani, https://example.com/ veya https://m.example.co.es/
RFC 9309 uyarınca robots.txt dosyası, sitenizdeki her protokol ve ana makine kombinasyonunun kökünde bulunmalıdır.
- Search Console, tarama hızına göre sıralanmış ilk 20 ana makineyi seçer. Her alan adı için raporda en fazla 2 kaynak gösterilir. Diğer bir deyişle, tabloda en fazla 40 satır gösterilebilir. Ana makinelerinizden birinin robots.txt URL'sini bulamıyorsanız eksik alt alan adı için bir alan mülkü oluşturun.
- Search Console her ana makine için iki URL'yi kontrol eder:
- http://<host>/robots.txt
- https://<host>/robots.txt
- İstenen URL'deki robots.txt dosyası 30 gün boyunca Bulunamadı olarak raporlanırsa Search Console, URL'yi bu raporda göstermez ancak Google, URL'yi arka planda kontrol etmeye devam eder. Rapor, diğer tüm sonuçlar için kontrol edilen URL'yi gösterir.
Search Console, ana makine düzeyindeki URL önek mülkü için (ör. https://example.com/) yalnızca tek bir kaynağı kontrol eder. Yani Search Console, https://example.com mülkü için http://example.com/robots.txt ya da https://m.example.com/robots.txt kaynaklarını değil, yalnızca https://example.com/robots.txt kaynağını kontrol eder.
Genel görevler
Robots.txt dosyasını görüntüleme
Bu raporda listelenen bir robots.txt dosyasını açmak için robots.txt dosyalarından oluşan listedeki dosyayı tıklayın. Dosyayı, tarayıcınızda açmak için Canlı robots.txt dosyasını aç'ı tıklayın.
Web'deki herhangi bir robots.txt dosyasını tarayıcınızda açabilirsiniz. Hangi URL'yi ziyaret edeceğinizi öğrenmek için aşağıya bakın.
Robots.txt dosyalarının bulunabileceği yer
Robots.txt dosyası, bir protokolün ve alan adının kökünde bulunur. URL'yi belirlemek için dosyanın URL'sindeki ana makineden (ve isteğe bağlı bağlantı noktasından) sonra gelen her şeyi çıkarıp "/robots.txt" ifadesini ekleyin. Varsa robots.txt dosyasını tarayıcınızda ziyaret edebilirsiniz. Robots.txt dosyaları, alt alan adları veya üst alan adları tarafından devralınmaz ve belirli bir sayfa, yalnızca bir robots.txt dosyasından etkilenebilir. Bazı örnekler:
| Dosya URL'si | Dosyayı etkileyebilecek robots.txt URL'si |
|---|---|
| http://example.com/home | http://example.com/robots.txt |
| https://m.de.example.com/some/page/here/mypage | https://m.de.example.com/robots.txt |
| https://example.com?pageid=234#myanchor | https://example.com/robots.txt |
| https://images.example.com/flowers/daffodil.png | https://images.example.com/robots.txt |
Bir sayfayı veya resmi etkileyen robots.txt dosyasını görme
Bir sayfayı veya resmi etkileyen robots.txt dosyasının URL'sini bulmak için:
- Sayfanın veya resmin tam URL'sini bulun. Resimler söz konusu olduğunda, Google Chrome tarayıcıda sağ tıklayın ve Resim URL'sini kopyala'yı seçin.
- Üst düzey alan adından (örneğin, .com, .org, .co.il) sonra gelen URL'nin son kısmını kaldırın ve sonuna /robots.txt ekleyin. Bu durumda, https://images.example.com/flowers/daffodil.png için robots.txt dosyasının https://images.example.com/robots.txt olması gerekir.
- Dosyanın mevcut olduğunu onaylamak için URL'yi tarayıcınızda açın. Tarayıcınız dosyayı açamıyorsa dosya mevcut değil demektir.
Google'ın, robots.txt tarafından engellenip engellenmediğini test etme
- Belirli bir URL'nin bir robots.txt dosyası tarafından engellenip engellenmediğini test etmek isterseniz URL'nin kullanılabilirliğini, URL Denetleme aracı ile test edebilirsiniz.
- Henüz web'de bulunmayan bir dosyada belirli bir robots.txt kuralı test etmek veya yeni bir kuralı test etmek isterseniz üçüncü taraf robots.txt test aracı kullanabilirsiniz.
Daha fazla bilgi
- Robots.txt dosyası nedir ve nasıl kullanılır?
- Robots.txt dosyası nasıl uygulanır?