​robots.txt raporu

Google'ın, robots.txt dosyalarınızı işleyip işleyemediğini görme

Robots.txt raporu, Google'ın sitenizdeki ilk 20 ana makine için hangi robots.txt dosyalarını bulduğunu, bunların en son ne zaman tarandığını ve karşılaşılan uyarı ya da hataları gösterir. Rapor ayrıca bir robots.txt dosyasının acil durumlar için yeniden taranmasını istemenize de olanak tanır.

Robots.txt dosyası, arama motorlarının sitenizi taramasını engellemek için kullanılır. İçeriğin, arama sonuçlarında görünmesini engellemek istiyorsanız noindex kullanın.

Bu rapor yalnızca alan düzeyindeki mülklerde kullanılabilir. Yani şunlardan biri olmalıdır:

  • Alan mülkü (example.com veya m.example.com gibi) veya
  • https://example.com/path/ değil, https://example.com/ gibi yol içermeyen bir URL önek mülkü.

Robots.txt raporunu aç

 

Robots.txt dosyalarınızı ve tarama durumunuzu görme

Bir alan mülkündeki rapor, ilgili mülkteki ilk 20 ana makinenin robots.txt dosyalarını içerir.

Search Console tarafından kontrol edilen her robots.txt dosyası için aşağıdaki bilgileri görebilirsiniz:

  • Dosya yolu: Google'ın, robots.txt dosyasının bulunup bulunmadığını kontrol ettiği tam URL. Bir URL yalnızca son 30 gün içindeki herhangi bir zamanda Getirildi veya Getirilmedi durumuna sahipse raporda görünür. Robots.txt dosyalarının konumu konusuna bakın.
  • Getirme durumu: Bu dosyaya ilişkin en son getirme isteğinin durumu. Aşağıdaki değerler gösterilebilir:
    • Getirilmedi - Bulunamadı (404): Bu dosya istenirken 404 hatası (dosya mevcut değil) oluşmuştur. Listelenen URL'de bir robots.txt dosyası yayınlamanıza rağmen bu hatayı görüyorsanız kullanılabilirlikle ilgili bir sorun olup olmadığını görmek için URL'yi denetlemeyi deneyin. 30 gün boyunca Bulunamadı (404) durumunda olan bir dosya artık raporda görünmez (ancak Google, dosyayı arka planda kontrol etmeye devam eder). Robots.txt dosyasının olmaması normaldir. Bu durum, Google'ın, sitenizdeki tüm URL'leri tarayabildiği anlamına gelir. Yine de konuyla ilgili ayrıntıların tamamı için Google'ın, robots.txt hatası olduğunda nasıl davrandığını okumanızı öneririz.
    • Getirilmedi - Başka bir neden: Bu dosya istenirken başka bir sorun oluştu. Dizine ekleme sorunlarının listesi konusuna bakın.
    • Getirildi: Son tarama denemesi başarıyla bir robots.txt dosyası döndürdü. Dosya ayrıştırılırken bulunan sorunlar, Sorunlar sütununda listelenir. Google, sorun içeren satırları yoksayar ve ayrıştırabildiklerini kullanır.
  • Kontrol tarihi: Google'ın, yerel saate göre bu URL'yi en son taramaya çalıştığı zaman.
  • Boyut: Getirilen dosyanın bayt cinsinden boyutu. Son getirme denemesi başarısız olursa bu alan boş görünür.
  • Sorunlar: Tabloda, son getirildiğinde dosya içeriğinde ortaya çıkan tüm ayrıştırma sorunlarının sayısı gösterilir. Hatalar, kuralların kullanılmasını engeller. Uyarılar ise kuralların kullanılmasını engellemez. Google'ın, robots.txt hatası olduğunda nasıl davrandığını okuyun. Ayrıştırma sorunlarını düzeltmek için robots.txt doğrulayıcı kullanın.

En son getirilen sürümü görme

Bir robots.txt dosyasının en son getirilen sürümünü, rapordaki dosya listesinde söz konusu sürümü tıklayarak görebilirsiniz. Robots.txt dosyasında hata veya uyarı varsa bunlar, gösterilen dosya içeriklerinde vurgulanır. Ok tuşlarını kullanarak hatalar ve uyarılar arasında geçiş yapabilirsiniz.

Daha önce getirilen sürümleri görme

Belirli bir robots.txt dosyasının, son 30 gün içindeki getirme isteklerini görmek için rapordaki dosya listesinde ilgili dosyayı ve ardından Sürümler'i tıklayın. Sürümdeki dosya içeriklerini görmek için ilgili sürümü tıklayın. Bir istek yalnızca alınan dosya veya getirme sonucu önceki dosya getirme isteğinden farklıysa geçmişe dahil edilir.

Google, son getirme denemesinde bir getirme hatasıyla karşılaşırsa son 30 gün içinde başarılı şekilde getirilen ve hata içermeyen son sürümü kullanır.

Yeniden tarama isteğinde bulun

Bir hatayı düzelttiğinizde veya önemli bir değişiklik yaptığınızda robots.txt dosyasının yeniden taranmasını isteyebilirsiniz.

Ne zaman yeniden tarama isteğinde bulunabilirsiniz?

Google, robots.txt dosyalarınızı sık sık yeniden taradığından genellikle bir robots.txt dosyasının yeniden taranmasını istemenize gerek yoktur. Ancak, aşağıdaki durumlarda robots.txt dosyanızın yeniden taranmasını isteyebilirsiniz:

  • Bazı önemli URL'lerin engellemesini kaldırmak için robots.txt kurallarınızı değiştirdiyseniz ve bunu Google'a hızlı bir şekilde bildirmek istiyorsanız (bu durumda, engellenen URL'lerin hemen yeniden taranacağının garanti edilmediğini unutmayın).
  • Getirme hatasını veya önemli başka bir hatayı düzelttiyseniz.

Yeniden tarama isteğinde bulunma

Yeniden tarama isteğinde bulunmak için robots dosya listesindeki bir dosyanın yanında bulunan diğer ayarlar simgesini seçin ve Yeniden tarama isteğinde bulun'u tıklayın.

Web sitesi barındırma hizmetlerindeki web siteleri

Web siteniz bir web sitesi barındırma hizmetinde barındırılıyorsa robots.txt dosyanızı düzenlemek kolay olmayabilir. Bu durumda site barındırma hizmetinizin, belirli sayfaların Google tarafından taranmasını veya dizine eklenmesini engellemeyle ilgili dokümanlarına bakın.

Çoğu kullanıcının, dosyaların Google tarafından taranmasından ziyade Google Arama'da görünmesini engellemek istediğini unutmayın. Sizin endişeniz de bu yöndeyse sayfaların, arama motorlarından engellenmesiyle ilgili bilgi edinmek için barındırma hizmetinizde arama yapın.

Robots.txt dosyalarının konumu

Terminoloji:

  • Protokol, (şema olarak da adlandırılır) HTTP ya da HTTPS'dir.
  • Ana makine, protokolden (http:// veya https://) yola kadar URL'de bulunan her şeydir. Dolayısıyla, m.de.example.com ana makinesi; m.de.example.com, de.example.com ve example.com olmak üzere 3 olası ana makine anlamına gelir. Bunların her biri kendi robots.txt dosyasına sahip olabilir.
  • Kaynak, protokol ve ana makinedir. Yani, https://example.com/ veya https://m.example.co.es/

RFC 9309 uyarınca robots.txt dosyası, sitenizdeki her protokol ve ana makine kombinasyonunun kökünde bulunmalıdır.

Alan mülkü için:

  1. Search Console, tarama hızına göre sıralanmış ilk 20 ana makineyi seçer. Her alan adı için raporda en fazla 2 kaynak gösterilir. Diğer bir deyişle, tabloda en fazla 40 satır gösterilebilir. Ana makinelerinizden birinin robots.txt URL'sini bulamıyorsanız eksik alt alan adı için bir alan mülkü oluşturun.
  2. Search Console her ana makine için iki URL'yi kontrol eder:
    • http://<host>/robots.txt
    • https://<host>/robots.txt
  3. İstenen URL'deki robots.txt dosyası 30 gün boyunca Bulunamadı olarak raporlanırsa Search Console, URL'yi bu raporda göstermez ancak Google, URL'yi arka planda kontrol etmeye devam eder. Rapor, diğer tüm sonuçlar için kontrol edilen URL'yi gösterir.

Search Console, ana makine düzeyindeki URL önek mülkü için (ör. https://example.com/) yalnızca tek bir kaynağı kontrol eder. Yani Search Console, https://example.com mülkü için http://example.com/robots.txt ya da https://m.example.com/robots.txt kaynaklarını değil, yalnızca https://example.com/robots.txt kaynağını kontrol eder.

Genel görevler

Robots.txt dosyasını görüntüleme

Bu raporda listelenen bir robots.txt dosyasını açmak için robots.txt dosyalarından oluşan listedeki dosyayı tıklayın. Dosyayı, tarayıcınızda açmak için Canlı robots.txt dosyasını aç'ı tıklayın.

Web'deki herhangi bir robots.txt dosyasını tarayıcınızda açabilirsiniz. Hangi URL'yi ziyaret edeceğinizi öğrenmek için aşağıya bakın.

Robots.txt dosyalarının bulunabileceği yer

Robots.txt dosyası, bir protokolün ve alan adının kökünde bulunur. URL'yi belirlemek için dosyanın URL'sindeki ana makineden (ve isteğe bağlı bağlantı noktasından) sonra gelen her şeyi çıkarıp "/robots.txt" ifadesini ekleyin. Varsa robots.txt dosyasını tarayıcınızda ziyaret edebilirsiniz. Robots.txt dosyaları, alt alan adları veya üst alan adları tarafından devralınmaz ve belirli bir sayfa, yalnızca bir robots.txt dosyasından etkilenebilir. Bazı örnekler:

Dosya URL'si Dosyayı etkileyebilecek robots.txt URL'si
http://example.com/home http://example.com/robots.txt
https://m.de.example.com/some/page/here/mypage https://m.de.example.com/robots.txt
https://example.com?pageid=234#myanchor https://example.com/robots.txt
https://images.example.com/flowers/daffodil.png https://images.example.com/robots.txt

Bir sayfayı veya resmi etkileyen robots.txt dosyasını görme

Bir sayfayı veya resmi etkileyen robots.txt dosyasının URL'sini bulmak için:

  1. Sayfanın veya resmin tam URL'sini bulun. Resimler söz konusu olduğunda, Google Chrome tarayıcıda sağ tıklayın ve Resim URL'sini kopyala'yı seçin.
  2. Üst düzey alan adından (örneğin, .com, .org, .co.il) sonra gelen URL'nin son kısmını kaldırın ve sonuna /robots.txt ekleyin. Bu durumda, https://images.example.com/flowers/daffodil.png için robots.txt dosyasının https://images.example.com/robots.txt olması gerekir.
  3. Dosyanın mevcut olduğunu onaylamak için URL'yi tarayıcınızda açın. Tarayıcınız dosyayı açamıyorsa dosya mevcut değil demektir.

Google'ın, robots.txt tarafından engellenip engellenmediğini test etme

  • Belirli bir URL'nin bir robots.txt dosyası tarafından engellenip engellenmediğini test etmek isterseniz URL'nin kullanılabilirliğini, URL Denetleme aracı ile test edebilirsiniz.
  • Geliştiriciyseniz Google Arama'da da kullanılan Google'ın açık kaynak robots.txt kitaplığına göz atabilir ve ekleme yapabilirsiniz. Bu aracı, robots.txt dosyalarını bilgisayarınızda yerel olarak test etmek için kullanabilirsiniz.

Daha fazla bilgi

Bu size yardımcı oldu mu?

Bunu nasıl iyileştirebiliriz?

Daha fazla yardıma mı ihtiyacınız var?

Bir sonraki adımları deneyin:

Arama
Aramayı temizle
Aramayı kapat
Google uygulamaları
Ana menü