Robots.txt hakkında

Robots Hakkında SSS

Robots hakkında genel sorular

Robots.txt soruları

Robots meta etiketi soruları

X-Robots-Tag HTTP başlık soruları

Yer vermediğimiz SSS mi var? Daha fazla yardım için sorularınızı Web Yöneticisi Yardım Forumumuzda sorabilirsiniz!

Robots hakkında genel sorular

Web sitemin bir robots.txt dosyasına ihtiyacı var mı?

Hayır. Googlebot bir web sitesini ziyaret ettiğinde, ilk olarak robots.txt dosyasını almayı deneyerek tarama izni isteriz. Robots.txt dosyası, robots meta etiketleri veya X-Robots-Tag HTTP üst bilgileri bulunmayan bir web sitesi genellikle normal bir şekilde taranır ve dizine eklenir.

Hangi yöntemi kullanmalıyım?

Duruma bağlı. Kısaca söylemek gerekirse, aşağıdaki yöntemlerin her birinin kendine göre iyi bir kullanım amacı bulunmaktadır:

  1. robots.txt: İçeriğinizin taranması sunucunuzda sorunlara neden oluyorsa bunu kullanın. Örneğin, sonsuz takvim komut dosyalarının taranmasını reddetmek isteyebilirsiniz. Robots.txt dosyasını gizli içeriği engellemek (bunun yerine, sunucu tarafı kimlik doğrulaması kullanın) veya standartlaştırmayı işlemek için kullanmamalısınız (Yardım Merkezimize bakın). Bir URL'nin dizine eklenmediğinden emin olmanız gerekiyorsa bunun yerine robots meta etiketini veya X-Robots-Tag HTTP üst bilgisini kullanın.
  2. robots meta etiketi: Belirli bir HTML sayfasının arama sonuçlarında nasıl gösterileceğini kontrol etmeniz (veya gösterilmediğinden emin olmanız) gerekiyorsa bunu kullanın.
  3. X-Robots-Tag HTTP üst bilgisi: HTML dışı içeriğin arama sonuçlarında nasıl gösterileceğini kontrol etmeniz (veya gösterilmediğinden emin olmanız) gerekiyorsa bunu kullanın.

Bu yöntemleri başka bir kişinin sitesini kaldırmak için kullanabilir miyim?

Hayır. Bu yöntemler, yalnızca kodunu değiştirebileceğiniz veya dosya ekleyebileceğiniz siteler için geçerlidir. Üçüncü taraflara ait bir sitedeki içeriği kaldırmak istiyorsanız web yöneticisiyle iletişime geçerek kaldırtmanız gerekir.

Google'ın web sitemi taramasını nasıl yavaşlatabilirim?

Genellikle, tarama oranı ayarını Google Search Console hesabınızda düzenleyebilirsiniz.

Robots.txt soruları

Birden çok web sitesi için aynı robots.txt dosyasını kullanıyorum. Göreli yol yerine tam URL'yi kullanabilir miyim?

Hayır. Robots.txt dosyasındaki yönergeler ("Sitemap:" haricinde) yalnızca göreli yollar için geçerlidir.

Robots.txt dosyasını bir alt dizine yerleştirebilir miyim?

Hayır. Dosya, web sitesinin en üst düzey dizinine yerleştirilmelidir.

Gizli bir klasörü engellemek istiyorum. Başka kişilerin robots.txt dosyamı okumasını engelleyebilir miyim?

Hayır. Robots.txt dosyası çeşitli kullanıcılar tarafından okunabilir. İçerik klasörlerinin veya dosya adlarının herkese açık olmaması gerekiyorsa bunlar robots.txt dosyasında listelenmemelidir. Kullanıcı aracısına veya diğer özelliklere göre farklı robots.txt dosyalarının sunulması önerilmez.

Taramaya izin vermek için allow yönergesi eklemem gerekir mi?

Hayır, allow yönergesi eklemenize gerek yoktur. allow yönergesi, aynı robots.txt dosyasındaki disallow yönergelerini geçersiz kılmak için kullanılır.

Robots.txt dosyamda bir hata veya desteklenmeyen bir yönerge varsa ne olur?

Web tarayıcıları genellikle çok esnektir ve robots.txt dosyasındaki küçük hatalardan etkilenmez. Genellikle olabilecek en kötü şey, yanlış/desteklenmeyen yönergelerin yok sayılmasıdır. Ancak Google'ın, bir robots.txt dosyasını yorumlarken zihin okuyamayacağını unutmayın. Aldığımız robots.txt dosyasını yorumlamamız gerekir. Bununla birlikte, robots.txt dosyanızdaki sorunların farkındaysanız bunları kolayca düzeltebilirsiniz.

Robots.txt dosyası oluşturmak için hangi programı kullanmalıyım?

Geçerli bir metin dosyası oluşturan her şeyi kullanabilirsiniz. Robots.txt dosyalarını oluşturmak için yaygın olarak kullanılan programlar, Not Defteri, TextEdit, vi veya emacs'dir. Robots.txt dosyası oluşturma hakkında daha fazla bilgi edinin. Dosyanızı oluşturduktan sonra robots.txt test aracını kullanarak doğrulayın.

Robots.txt disallow yönergesini kullanarak Google'ın bir sayfayı taramasını engellersem bu sayfa arama sonuçlarından kaybolur mu?

Google'ın bir sayfayı taramasının engellenmesi, muhtemelen söz konusu sayfayı Google'ın dizininden kaldırır. 

Bununla birlikte, robots.txt Disallow yönergesini kullanmak, bir sayfanın sonuçlarda görünmeyeceğini garanti etmez. Google, gelen bağlantılar gibi harici bilgilere dayanarak sayfanın alakalı olduğuna karar verebilir. Bir sayfanın dizine eklenmesini açık bir şekilde engellemek istiyorsanız bunun yerine, noindex robots meta etiketini veya X-Robots-Tag HTTP üst bilgisini kullanmanız gerekir. Bu durumda, etiketin görülmesi ve buna uyulması için sayfanın taranması gerektiğinden sayfa, robots.txt dosyasında engellenmemelidir.

Robots.txt dosyasındaki değişikliklerin arama sonuçlarımı etkilemesi ne kadar sürer?

Öncelikle, robots.txt dosyasının önbelleği yenilenmelidir (genellikle içeriği en çok bir günlüğüne önbelleğe alırız). Değişikliği bulduktan sonra bile, her bir URL için gerçekleştirilen tarama ve dizine ekleme işlemleri, bazen uzun sürebilen karmaşık bir süreç olduğundan kesin bir zaman çizelgesi vermek imkansızdır. Ayrıca robots.txt dosyanız bir URL'ye erişimi reddediyor olsa bile, söz konusu URL'nin taranamamasına rağmen arama sonuçlarında görünmeye devam edebileceğini unutmayın. Google'dan engellediğiniz sayfaların kaldırılma sürecini hızlandırmak isterseniz lütfen Google Search Console aracılığıyla bir kaldırma isteği gönderin.

Web sitemin taranmasını nasıl geçici olarak askıya alabilirim?

Robots.txt dosyası dahil tüm URL'ler için, 503 HTTP sonuç kodunu döndürerek tüm tarama etkinliğini geçici olarak askıya alabilirsiniz. Robots.txt dosyası, yeniden erişilebilir oluncaya kadar belirli aralıklarla yeniden denenir. Taramayı reddetmek için robots.txt dosyanızı değiştirmenizi önermeyiz.

Sunucum büyük/küçük harfe duyarlı değil. Nasıl bazı klasörlerin taranmasını tamamen reddedebilirim?

Robots.txt dosyasındaki yönergeler büyük/küçük harfe duyarlıdır. Bu durumda, standartlaştırma yöntemleri kullanılarak URL'nin yalnızca bir sürümünün dizine eklendiğinden emin olunması önerilir. Bunu yapmanız, robots.txt dosyanızı basitleştirmenize olanak tanır. Bu mümkün olmazsa klasör adının yaygın kullanılan kombinasyonlarını listelemenizi veya klasörün tam adı yerine, yalnızca adın ilk birkaç karakterini kullanarak mümkün olduğunca kısaltmanızı öneririz. Örneğin, "/BuKisiselKlasorum" klasörünün tüm büyük ve küçük harfli permütasyonlarını listelemek yerine "/BuK" karakterlerinin permütasyonlarını listeleyebilirsiniz (bu ilk karakterlerle taranabilecek başka URL bulunmadığından eminseniz). Alternatif olarak, tarama bir sorun değilse bir robots meta etiketi veya X-Robots-Tag HTTP üst bilgisi kullanmanız da mantıklı olabilir.

Robots.txt dosyasını içeren tüm URL'ler için 403 "Yasak" kodunu döndürüyorum. Site neden hâlâ taranıyor?

403 HTTP sonuç kodu, diğer tüm 4xx HTTP sonuç kodları gibi robots.txt dosyasının var olmadığının bir işareti olarak görülür. Bundan dolayı, tarayıcılar genellikle web sitesinin tüm URL'lerini tarayabileceklerini var sayar. Web sitesinin taranmasını engellemek için, içinde uygun bir "disallow" yönergesi olan robots.txt dosyasının, normal bir şekilde (bir 200 "Tamam" HTTP sonuç koduyla) döndürülmesi gerekir.

Robots meta etiketi soruları

Robots meta etiketi robots.txt dosyasının yerine geçer mi?

Hayır. Robots.txt dosyası hangi sayfalara erişildiğini kontrol eder. Robots meta etiketi, bir sayfanın dizine eklenip eklenmeyeceğini kontrol eder, ancak bu etiketin görülmesi için sayfanın taranması gerekir. Bir sayfanın taranması soruna neden oluyorsa (örneğin, sayfa sunucunun fazla yüklenmesine neden oluyorsa) robots.txt dosyasını kullanmanız gerekir. Konu, yalnızca bir sayfanın arama sonuçlarında gösterilip gösterilmemesiyle ilgiliyse robots meta etiketini kullanabilirsiniz.

Robots meta etiketi, sayfanın bir kısmının dizine eklenmesini engellemek için kullanılabilir mi?

Hayır, robots meta etiketi sayfa düzeyinde bir ayardır.

Robots meta etiketini <head> bölümü dışında kullanabilir miyim?

Hayır, şimdilik robots meta etiketinin sayfanın <head> bölümünde olması gerekir.

Robots meta etiketi taramayı reddetmez mi?

Hayır. Robots meta etiketi şu anda noindex talimatı verse bile, meta etiketin değişip değişmediğini görmek için, URL'yi zaman zaman yeniden taramamız gerekir.

nofollow robots meta etiketi ile rel="nofollow" bağlantı özelliği arasındaki fark nedir?

nofollow robots meta etiketi bir sayfadaki tüm bağlantılar için geçerlidir. rel="nofollow" bağlantı özelliği yalnızca bir sayfadaki belirli bağlantılar için geçerlidir. rel="nofollow" bağlantı özelliğiyle ilgili daha fazla bilgi için lütfen Yardım Merkezimizdeki kullanıcı tarafından oluşturulan spam ve rel="nofollow" ile ilgili makalelere bakın.

X-Robots-Tag HTTP başlık soruları

Bir URL'nin X-Robots-Tag HTTP üst bilgisini nasıl kontrol edebilirim?

Sunucu üst bilgilerini görüntülemenin basit bir yolu, web tabanlı bir sunucu üst bilgisi denetleyici veya Google Search Console'daki "Googlebot Gibi Getir" özelliğini kullanmaktır.

Bu size yardımcı oldu mu?
Bunu nasıl iyileştirebiliriz?