Arama
Aramayı temizle
Aramayı kapat
Google uygulamaları
Ana menü

URL'leri robots.txt ile engelleme

Robots.txt dosyası oluşturma

Bir robots.txt dosyası oluşturabilmek için alanınızın kök dizinine erişebilmeniz gerekir. Kök dizine erişime sahip olup olmadığınızdan emin değilseniz web barındırma servisi sağlayıcınız ile iletişim kurabilirsiniz. Ayrıca alanın root dizinine erişemediğinizi biliyorsanız sunucunuzdaki dosyaları şifre ile koruma ve HTML kodunuza meta etiketler ekleme gibi alternatif engelleme yöntemlerinden yararlanabilirsiniz.

robots.txt Test Aracı'nı kullanarak bir robots.txt dosyası oluşturabilir veya mevcut dosyayı düzenleyebilirsiniz. Bu araç, robots.txt dosyanızda yaptığınız düzenlemeleri test etmenize olanak sağlar.

Robots.txt söz dizimini öğrenme

En basit robots.txt dosyasında iki anahtar kelime kullanılır; User-agent ve Disallow. Kullanıcı aracıları, arama motoru robotlarıdır (veya web tarayıcı yazılımlarıdır). Çoğu kullanıcı aracısı Web Robotları Veritabanı'nda listelenir. Disallow, belli bir URL'ye erişilmemesini söyleyen, kullanıcı aracılarına yönelik bir komuttur. Diğer yandan, erişimine izin verilmeyen bir dizinin alt dizinine karşı gelen belli bir URL'ye Google'ın erişmesini sağlamak için üçüncü bir anahtar kelime olan Allow'u kullanabilirsiniz.

Google; Google Arama için Googlebot ve Google Görsel Arama için Googlebot-Resim gibi çeşitli kullanıcı aracılarını kullanmaktadır. Google kullanıcı aracılarının çoğu Googlebot için belirlediğiniz kurallara uyar ancak bu seçeneği geçersiz kılıp belli bazı Google kullanıcı aracılarına yönelik özel kurallar oluşturmanız da mümkündür.

Anahtar sözcükleri kullanma söz dizimi aşağıdaki gibidir:

User-agent: [the name of the robot the following rule applies to]

Disallow: [the URL path you want to block]

Allow: [the URL path in of a subdirectory, within a blocked parent directory, that you want to unblock]

Bu iki satır dosyada tek bir giriş olarak kabul edilir ve Disallow kuralı sadece hemen üstünde belirlenmiş olan kullanıcı aracılar için geçerlidir. İstediğiniz sayıda giriş ekleyebilirsiniz ve hepsi tek bir girişte birden fazla Disallow satırı birden fazla kullanıcı aracısına uygulanabilir. Aşağıdaki örnekte olduğu gibi yıldız karakteri (*) girerek User-agent komutunu tüm web tarayıcıları için geçerli olacak şekilde belirleyebilirsiniz.

User-agent: *

robots.txt dosyasında kullanılacak URL engelleme komutları

Engelle...

Örnek

Sitenin tamamı; düz eğik çizgi ile (/):

Disallow: /

Bir dizin ve içeriği; dizin adından sonra düz eğik çizgi ekleyerek:

Disallow: /sample-directory/

Bir web sayfası; eğik çizgiden sonra sayfayı listeleyerek:

Disallow: /private_file.html

Google Görseller'den belirli bir resim:

User-agent: Googlebot-Image

Disallow: /images/dogs.jpg

Google Görseller'den sitenizdeki tüm resimler:

User-agent: Googlebot-Image

Disallow: /

Belirli türdeki dosyalar (örneğin, .gif):

User-agent: Googlebot

Disallow: /*.gif$

Sitenizdeki sayfalar; ancak bu sayfalarda AdSense reklamları gösterilir, Mediapartners-Google dışındaki web tarayıcılarına izin verilmez. Bu uygulama sayfalarınızı arama sonuçlarından gizler, ancak Mediapartners-Google web tarayıcısı sitenizin ziyaretçilerine hangi reklamların görüntüleneceğine karar vermek üzere sayfaları analiz etmeye devam eder.

User-agent: *

Disallow: /

User-agent: Mediapartners-Google

Allow: /

Yönergelerin büyük/küçük harf duyarlı olduğunu unutmayın. Örneğin Disallow: /file.asp komutu http://www.example.com/file.asp dosyasını engelleyecek, ancak http://www.example.com/File.asp dosyasına izin verecektir. Ayrıca Googlebot, robots.txt dosyasındaki bilinmeyen dizinleri ve boşlukları dikkate almaz.
Robots.txt kodunuzu daha kullanışlı yapmak için kalıp eşleme kuralları

Kalıp eşleme kuralı

Örnek

Bir karakter dizisini engellemek için yıldız karakteri (*) kullanın. Örneğin, bu örnek kod "private" kelimesi ile başlayan tüm alt dizinleri engeller.

User-agent: Googlebot

Disallow: /private*/

Soru işareti (?) içeren tüm URL'lere erişimi engelleme. Örneğin, burada verilen örnek kod, alan adınızla başlayan, ardından bir karakter dizisi, bir soru işareti gelen ve yine herhangi bir karakter dizisi ile biten URL'leri engeller:

User-agent: Googlebot

Disallow: /*?

Belirli bir biçimde biten URL'leri engellemek için $ işaretini kullanın. Örneğin, bu örnek kod .xls ile biten tüm URL'leri engeller:

User-agent: Googlebot

Disallow: /*.xls$

Allow ve Disallow yönergeleri ile kalıp engellemeye ilişkin olarak sağdaki örneğe bakınız. Bu örnekte, ? karakteri bir oturum kimliğini belirtir. Bu kimlikleri içeren URL'lere, web tarayıcılarının yinelenen sayfaları taramasını önlemek üzere Google tarafından erişimin engellenmesi gerekir. Bu arada, ? karakteri ile biten URL'lerin bazıları dahil etmek istediğiniz sayfanın birer versiyonuysa, Allow ve Disallow komutlarını birleştirmek üzere aşağıdaki yöntemi uygulayabilirsiniz:

  1. Allow: /*?$ yönergesi bir ? karakteri ile biten URL'lere izin verir. (daha ayrıntılı olarak belirtmek gerekirse, alan adınızla başlayan, ardından bir karakter dizisi, bir ? karakteri ile devam eden ve ? karakterinin ardından başka hiçbir karakterin gelmediği URL'lere izin verir).
  2. Disallow: / *? yönergesi ? karakteri içeren URL'leri engeller (daha ayrıntılı olarak belirtmek gerekirse, alan adınızla başlayan, ardından bir karakter dizisi, bir soru işareti ve yine bir karakter dizisinin geldiği URL'leri engeller).

User-agent: *

Allow: /*?$

Disallow: /*?

robots.txt dosyanızı kaydetme

Googlebot'un ve diğer web tarayıcılarının robots.txt dosyanızı bulup tanıyabilmesi için kaydetmeye ilişkin aşağıdaki esasları uygulamanız gerekir:

  • robots.txt dosyanızı metin dosyası olarak kaydetmelisiniz,
  • Dosyayı sitenizin en üst dizinine (ya da alan adınızın kök dizinine) koymanız gerekir ve
  • robots.txt dosyasının robots.txt olarak adlandırılmış olması gerekir.

Örnek olarak, http://www.example.com/robots.txt URL adresinde example.com kök dizinine kaydedilen bir robots.txt dosyası, web tarayıcıları tarafından bulunabilir, ancak http://www.example.com/not_root/robots.txt adresindeki bir robots.txt dosyası web tarayıcıları tarafından bulunamaz.

Bu makale faydalı mıydı?
Bunu nasıl iyileştirebiliriz?