Google tarayıcıları (kullanıcı aracıları)

Google'ın web'i taramak için hangi robotları kullandığını görme

"Tarayıcı", bir web sayfasından diğerine giden bağlantıları izleyerek, web sitelerini otomatik bir biçimde keşfetmek ve taramak amacıyla kullanılan tüm programlar (robot veya örümcek gibi) için kullanılan genel bir terimdir. Google'ın ana tarayıcısına Googlebot adı verilir. Bu tabloda, yönlendiren günlüklerinizde görebileceğiniz yaygın kullanılan Google tarayıcılarıyla ilgili bilgiler ve bunların robots.txt, robots meta etiketleri ve X-Robots-Tag HTTP yönergelerinde nasıl belirtilmeleri gerektiği listelenmektedir.

Aşağıdaki tabloda kullanıcı aracısı jetonu, belirli bir tarayıcıyı eşleştirmek için robots.txt dosyasının User-agent: satırında kullanılmıştır. Bazı tarayıcılar tabloda gösterildiği gibi birden fazla jetona yanıt verir; bir tarayıcı için yalnızca bir eşleşen jeton kullanmanız gerekir. Bu liste tam olmasa da, web sitenizde görebileceğiniz tarayıcıların çoğunu kapsamaktadır.

Bu değerler sahte olabilir. Ziyaretçinin Googlebot olduğunu doğrulamanız gerekiyorsa ters DNS araması kullanmalısınız.
Tarayıcı Kullanıcı aracısı jetonları (robots.txt'de kullanılır) Kullanıcı aracısı dizesinin tamamı (web sitesi günlük dosyalarında göründüğü şekliyle)
APIs-Google
  • APIs-Google
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense
  • Mediapartners-Google
Mediapartners-Google

AdsBot Mobil Web Android

(Android web sayfası reklam kalitesini kontrol eder)

  • AdsBot-Google-Mobile
Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobil Web

(iPhone web sayfası reklam kalitesini kontrol eder)

  • AdsBot-Google-Mobile
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

(Masaüstü web sayfası reklam kalitesini denetler)

  • AdsBot-Google
AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot Görseller
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
Googlebot Haberler
  • Googlebot-News
  • Googlebot
Googlebot-News
Googlebot Video
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0

Googlebot

(Masaüstü)

  • Googlebot
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36

    veya (nadiren kullanılır):
     
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot

(Akıllı telefon)

  • Googlebot

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobil AdSense
  • Mediapartners-Google
(Çeşitli mobil cihaz türleri) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobil Uygulamalar Android

(Android uygulama sayfası reklam kalitesini kontrol eder. AdsBot-Google robotlarının kurallarına uyar.)

  • AdsBot-Google-Mobile-Apps
AdsBot-Google-Mobile-Apps

Robots.txt dosyasındaki kullanıcı aracıları

Robots.txt dosyasında çeşitli kullanıcı aracıları tanınsa da, Google en belirgin olanı izler. Google'ın tüm sayfalarınızı tarayabilmesini istiyorsanız, robots.txt dosyasına ihtiyacınız yoktur. Google'ın tarayıcılarının içeriğinizin bir kısmına erişimini engellemek veya buna izin vermek istiyorsanız, bunu yapmak için Googlebot'u kullanıcı-aracısı olarak belirtebilirsiniz. Örneğin, tüm sayfalarınızın Google aramasında görünmesini ve AdSense reklamlarının sayfalarınızda görünmesini istiyorsanız, robots.txt dosyasına ihtiyacınız yoktur. Benzer bir şekilde, Google'ın bazı sayfalara erişimini toplu olarak engellemek istiyorsanız, Googlebot kullanıcı-aracısını engellediğinizde, Google'ın diğer tüm kullanıcı-aracıları da engellenir.

Ancak, daha hassas bir denetime sahip olmak isterseniz daha kesin davranabilirsiniz. Örneğin, tüm sayfalarınızın Google Arama'da görünmesini istiyor, ancak kişisel dizininizdeki resimlerin taranmasını istemiyor olabilirsiniz. Bu durumda, Googlebot-image kullanıcı-aracısının /personal dizininizdeki dosyaları taramamasını (ancak, diğer tüm dosyaları taramasına izin vermeyi) şu şekilde sağlayabilirsiniz:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal
Başka bir örneği ele alırsak, tüm sayfalarınızda reklamların bulunmasını istediğinizi, ancak bu sayfaların Google Arama'da görünmesini istemediğinizi düşünelim. Burada, Googlebot'u engelleyebilir, Mediapartners-Google tarayıcısına izin verebilirsiniz:
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Robots meta etiketindeki kullanıcı aracıları

Bazı sayfalar, farklı tarayıcılara ilişkin yönergeleri belirtmek için birden çok robots meta etiketi kullanır. Örneğin:

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

Bu durumda, Google negatif yönergelerin toplamını kullanır ve Googlebot hem noindex hem de nofollow yönergelerini izler. Google'ın sitenizi nasıl tarayacağını ve dizine ekleyeceğini kontrol etme hakkında daha ayrıntılı bilgi.

Bu makale faydalı mıydı?
Bunu nasıl iyileştirebiliriz?