URL'leri robots.txt ile engelleme

Robots.txt dosyaları hakkında bilgi edinme

robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı'nı kullanır. Bu komutlar, sitenize erişimi bölüm bazında ve belirli web tarayıcısı türüne göre (örneğin mobil tarayıcılar ve masaüstü tarayıcılar gibi) göstermek için kullanılabilir.

Siteniz, Google'ın veya diğer arama motorlarının dizine eklemesini istemediğiniz içeriğe sahipse yalnızca bir tane robots.txt dosyasına ihtiyacınız vardır.

Google'ın web sitenizdeki hangi URL'lere ulaşabildiğini, hangilerine ulaşamadığını test etmek için robots.txt Test Aracı'nı kullanmayı deneyin.

robots.txt ile ilgili sınırlamaları anlama

robots.txt dosyanızı oluşturmadan önce, bu URL engelleme yönteminin risklerini bilmeniz gerekir. Bazı zamanlarda URL'lerinizin web üzerinde bulunmasını önlemek için başka mekanizmaları değerlendirmek isteyebilirsiniz.

  • robots.txt talimatları yalnızca yönergelerdir

    robots.txt dosyasındaki talimatlar, tarayıcının web sitenizde nasıl davranacağına ilişkin zorunluluk getiremez. Bunun yerine, bu talimatlar, tarayıcının sitenize erişmesine ilişkin yönergeler olarak görev yapar. Googlebot ve diğer tanınmış web tarayıcıları bir robots.txt dosyasındaki talimatlara uysalar da diğer tarayıcılar uymayabilir. Bu nedenle, bilgileri web tarayıcılarının erişemeyeceği şekilde güvende tutmak istiyorsanız sunucunuzdaki gizli dosyaları şifreyle koruma gibi farklı yöntemlerin kullanılması daha iyidir.
  • Farklı tarayıcılar sözdizimini farklı yorumlayabilir

    Tanınmış web tarayıcıları bir robots.txt dosyasındaki yönergeleri uygulasalar da her bir tarayıcı, yönergeleri farklı şekilde yorumlayabilir. Bazıları belirli talimatları anlayamayabileceğinden, farklı web tarayıcılarına hitap etmek üzere doğru söz dizimini bilmeniz gerekir.
  • robots.txt yönergeleriniz, diğer sitelerden URL'lerinize sağlanan referansları önleyemez

    Google, robots.txt tarafından engellenen içeriği taramayacak veya dizine eklemeyecek olsa da, izin verilmeyen bir URL'yi web'de diğer yerlerde bulup dizine ekleyebiliriz. Bunun sonucunda URL adresi ve muhtemelen siteye verilen bağlantılardaki metinler gibi diğer herkese açık bilgiler Google arama sonuçlarında görünmeye devam edebilir. robots.txt dosyanızı, sunucunuzdaki dosyaları şifreyle koruma veya HTML'nize dizine ekleme yönergesi meta etiketi ekleme gibi URL engellemeye yönelik farklı yöntemlerle birlikte kullanarak, URL'nizin Google Arama sonuçlarında görünmesini tamamen durdurabilirsiniz.
Not: Birden fazla tarama ve dizine ekleme yönergesinin birlikte kullanılması, bazı yönergelerin diğerlerini etkisiz kılmasına yol açabilir. Bu yönergeleri düzgün bir şekilde nasıl yapılandıracağınızı öğrenmek için Google Developers dokümanlarının Dizine ekleyerek tarama / sunma yönergelerini birleştirme bölümünü okuyabilirsiniz.