Robots.txt hakkında

Robots.txt dosyanızı robots.txt Test Aracı ile test etme

Robots.txt Test Aracı, robots.txt dosyanızın, Google web tarayıcılarının belli bazı URL'lere erişimini engelleyip engellemediğini gösterir. Örneğin, bu aracı, Google Görsel Arama'nın erişmesini engellemek istediğiniz bir resmin URL'sinin Googlebot-Resim tarayıcısı tarafından taranmasının mümkün olup olmadığını test etmek için kullanabilirsiniz.

 

Robots.txt Test Aracı'nı Açma

 

Robots.txt Test Aracı'na bir URL gönderebilirsiniz. Bu araç, robots.txt dosyanızı kontrol etmek için Googlebot gibi çalışır ve URL'nizin düzgün şekilde engellenmiş olduğunu doğrular.

Robots.txt dosyanızı test etme

  1. Siteniz için test aracını açın ve robots.txt kodunda, vurgulanmış sözdizimi uyarıları ve mantık hataları ifadelerini bulun. Sözdizimi uyarıları ve mantık hatalarının sayısı düzenleyicinin hemen altında görüntülenir. 
  2. Sayfanın altındaki metin kutusuna sitenizdeki bir sayfanın URL'sini yazın.
  3. Simüle etmek istediğiniz kullanıcı aracısı'nı metin kutusunun sağındaki açılır listeden seçin.
  4. Teste erişmek için TEST düğmesini tıklayın.
  5. Girdiğiniz URL'nin Google web tarayıcılarının erişimine kapalı olup olmadığını öğrenmek üzere TEST düğmesini kontrol ederek düğmede KABUL EDİLDİ mi yoksa ENGELLENDİ mi yazdığına bakın.
  6. Sayfadaki dosyayı düzenleyin ve gerekirse yeniden test edin. Sayfada yapılan değişikliklerin sitenize kaydedilmediğini unutmayın! Sonraki adıma bakın.
  7. Değişikliklerinizi sitenizin robots.txt dosyasına kopyalayın. Bu araç, sitenizdeki gerçek dosyada değişiklik yapmaz; test işlemini yalnızca araçta barındırılan kopyayı kullanarak gerçekleştirir.

Robots.txt Test Aracı'nın sınırlamaları:

  • Araç düzenleyicide yaptığınız değişiklikler web sunucunuza otomatik olarak kaydedilmezler. İçeriği düzenleyicinizden kopyalayıp sunucunuzda kayıtlı robots.txt dosyasına yapıştırmanız gerekir.
  • Robots.txt Test Aracı, robots.txt dosyasını Googlebot gibi Google kullanıcı aracıları veya web tarayıcıları ile test eder. Diğer web tarayıcılarının robots.txt dosyanızı nasıl yorumlayacağını öngörmemiz mümkün değildir.
Bu size yardımcı oldu mu?
Bunu nasıl iyileştirebiliriz?