Arama
Aramayı temizle
Aramayı kapat
Google uygulamaları
Ana menü

URL'leri robots.txt ile engelleme

Robots.txt dosyaları hakkında bilgi edinme

robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı'nı kullanır. Bu komutlar, sitenize erişimi bölüm bazında ve belirli web tarayıcısı türüne göre (örneğin mobil tarayıcılar ve masaüstü tarayıcılar gibi) göstermek için kullanılabilir.

robots.txt ne için kullanılır?

Resim olmayan dosyalar

Genellikle Google tarayıcısının sunucunuzu çok fazla meşgul etmesini veya tarama bütçesinin, sitenizdeki önemsiz ya da birbirine benzeyen sayfaları taramak için harcanması istemezsiniz. Bu yüzden, resim olmayan dosyalar (yani web sayfaları) için robots.txt yalnızca tarama trafiğini kontrol etmek amacıyla kullanılmalıdır. robots.txt dosyasını, web sayfalarınızı Google Arama sonuçlarından gizlemenizi sağlayan bir araç olarak kullanmamalısınız. Çünkü sayfanıza bağlantı veren başka sayfalar olabilir. Bu durumda sayfanız, robots.txt dosyasına rağmen dizine eklenebilir. Sayfanızın arama sonuçlarında görünmesini engellemek isterseniz şifre koruması veya no index etiketleri ya da yönergeler gibi başka bir yöntem kullanın.

Resim dosyaları

robots.txt, resim dosyalarının Google arama sonuçlarında görünmesini engeller. (Ancak, bu yöntem, diğer sayfaların veya kullanıcıların resminize bağlantı vermesini engellemez.)

Kaynak dosyaları

Önemli olmayan resim, komut dosyası veya stil dosyaları gibi kaynakları engellemek için robots.txt dosyasını kullanabilirsiniz. Bu yöntemi, engellenen kaynaklar olmadan yüklenen sayfaların bu kayıptan önemli ölçüde etkilenmeyeceğini düşünüyorsanız uygulayın. Ancak, bu kaynakların eksikliği Google tarayıcısının sayfayı anlamasını zorlaştıracaksa bunları engellememelisiniz. Aksi halde Google, bu kaynaklara dayanan sayfalarınızı iyi bir şekilde analiz edemez.

robots.txt ile ilgili sınırlamaları anlama

robots.txt dosyanızı oluşturmadan önce, bu URL engelleme yönteminin risklerini bilmeniz gerekir. Bazı zamanlarda URL'lerinizin web üzerinde bulunmasını önlemek için başka mekanizmaları değerlendirmek isteyebilirsiniz.

  • robots.txt talimatları yalnızca yönergelerdir

    robots.txt dosyasındaki talimatlar, tarayıcının web sitenizde nasıl davranacağına ilişkin zorunluluk getiremez. Bunun yerine, bu talimatlar, tarayıcının sitenize erişmesine ilişkin yönergeler olarak görev yapar. Googlebot ve diğer tanınmış web tarayıcıları bir robots.txt dosyasındaki talimatlara uysalar da diğer tarayıcılar uymayabilir. Bu nedenle, bilgileri web tarayıcılarının erişemeyeceği şekilde güvende tutmak istiyorsanız sunucunuzdaki gizli dosyaları şifreyle koruma gibi farklı yöntemlerin kullanılması daha iyidir.
  • Farklı tarayıcılar sözdizimini farklı yorumlayabilir

    Tanınmış web tarayıcıları bir robots.txt dosyasındaki yönergeleri uygulasalar da her bir tarayıcı, yönergeleri farklı şekilde yorumlayabilir. Bazıları belirli talimatları anlayamayabileceğinden, farklı web tarayıcılarına hitap etmek üzere doğru söz dizimini bilmeniz gerekir.
  • robots.txt yönergeleriniz, diğer sitelerden URL'lerinize sağlanan referansları önleyemez

    Google, robots.txt tarafından engellenen içeriği taramayacak veya dizine eklemeyecek olsa da, izin verilmeyen bir URL'yi web'de diğer yerlerde bulup dizine ekleyebiliriz. Bunun sonucunda URL adresi ve muhtemelen siteye verilen bağlantılardaki metinler gibi diğer genel kullanıma açık bilgiler Google arama sonuçlarında çıkmaya devam edebilir. Sunucunuzdaki dosyaları şifreyle koruma veya noindex meta etiketi ya da yanıt üst bilgisi kullanma gibi URL engellemeye yönelik farklı yöntemler kullanarak URL'nizin Google Arama sonuçlarında görünmesini tamamen durdurabilirsiniz.
Not: Birden fazla tarama ve dizine ekleme yönergesinin birlikte kullanılması, bazı yönergelerin diğerlerini etkisiz kılmasına yol açabilir. Bu yönergeleri düzgün bir şekilde nasıl yapılandıracağınızı öğrenmek için Google Developers dokümanlarının Dizine ekleyerek tarama / sunma yönergelerini birleştirme bölümünü okuyabilirsiniz.
Bu makale faydalı mıydı?