Google tarayıcılarına genel bakış (kullanıcı aracıları)

Google'ın web'i taramak için kullandığı robotları görme

"Tarayıcı", bir web sayfasından diğerine giden bağlantıları izleyerek, web sitelerini otomatik bir biçimde keşfetmek ve taramak amacıyla kullanılan tüm programlar (robot veya örümcek gibi) için kullanılan genel bir terimdir. Google'ın ana tarayıcısına Googlebot adı verilir. Bu tabloda, yönlendiren günlüklerinizde görebileceğiniz yaygın kullanılan Google tarayıcılarıyla ilgili bilgiler ve bunların robots.txt, robots meta etiketleri ve X-Robots-Tag HTTP yönergelerinde nasıl belirtilmeleri gerektiği listelenmektedir.

Aşağıdaki tabloda, Google’daki çeşitli ürün ve hizmetler tarafından kullanılan tarayıcılar gösterilmektedir:

  • Kullanıcı aracısı jetonu, robots.txt dosyanızdaki User-agent: satırında, siteniz için tarama kuralları yazılırken genel tarayıcı türüyle eşleştirme yapmak için kullanılır. Bazı tarayıcıların tabloda gösterildiği gibi birden fazla jetonu vardır; bir kuralı uygulamak için yalnızca bir tarayıcı belirtecinizin eşleşmesi yeterlidir. Bu liste tam olmasa da, web sitenizde görebileceğiniz tarayıcıların çoğunu kapsamaktadır.
  • Tam kullanıcı aracısı dizesi, tarayıcının tam açıklamasıdır, istekte ve web günlüklerinizde görünür.
Bu değerler sahte olabilir. Ziyaretçinin Googlebot olduğunu doğrulamanız gerekiyorsa ters DNS araması kullanmalısınız.
Tarayıcı Kullanıcı aracısı jetonu (ürün jetonu) Tam kullanıcı aracısı dizesi
APIs-Google

APIs-Google

APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense

Mediapartners-Google

Mediapartners-Google

AdsBot Mobil Web Android

(Android web sayfası reklam kalitesini kontrol eder)

AdsBot-Google-Mobile

Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobil Web

(iPhone web sayfası reklam kalitesini kontrol eder)

AdsBot-Google-Mobile

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

(Masaüstü web sayfası reklam kalitesini denetler)

AdsBot-Google

AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot Görseller
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
Googlebot Haberler
  • Googlebot-News
  • Googlebot
Googlebot-News
Googlebot Video
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0

Googlebot (Masaüstü)

Googlebot

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

    veya (nadiren kullanılır):
     
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot (Akıllı Telefon)

Googlebot

 

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobil AdSense

Mediapartners-Google

(Çeşitli mobil cihaz türleri) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobil Uygulamalar Android

(Android uygulama sayfası reklam kalitesini kontrol eder. AdsBot-Google robotlarının kurallarına uyar.)

AdsBot-Google-Mobile-Apps

AdsBot-Google-Mobile-Apps

Feedfetcher

FeedFetcher-Google

Robots.txt kurallarına uymuyor - nedeninini burada bulabilirsiniz

FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Sesli Okuma

Google-Read-Aloud

Robots.txt kurallarına uymuyor - nedenini buradan öğrenebilirsiniz

  • Mevcut aracı:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
  • Eski aracı (kullanımdan kaldırıldı):
    google-speakr
Duplex on the Web

DuplexWeb-Google

* kullanıcı aracısı joker karakterini yok sayabilir - nedenini burada bulabilirsiniz

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Mobile Safari/537.36

Google Site Simgesi

(Çeşitli hizmetler için site simgelerini alır)

Google Site Simgesi

Kullanıcı tarafından başlatılan istekler için robots.txt kurallarını yok sayar

 

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)  Chrome/49.0.2623.75 Safari/537.36 Google Favicon

 

Kullanıcı aracılarında Chrome/W.X.Y.Z

Tablodaki kullanıcı aracısı dizelerinde Chrome/WXYZ ifadesini gördüğünüz her yerde, W.X.Y.Z aslında Chrome'un sürümünü temsil eden ve bu kullanıcı aracısı tarafından kullanılan bir yer tutucudur: Örneğin, 41.0.2272.96. Googlebot tarafından kullanılan en son Chromium sürümüyle eşleşmesi için bu sürüm numarası zaman içinde artar.

Günlüklerinizde arama yapıyorsanız veya sunucunuzu bu sürüm numarası kalıbına sahip bir kullanıcı aracısına göre filtreliyorsanız, büyük olasılıkla sürüm numarasını tam olarak belirtmek yerine için joker karakterler kullanmanız gerekir.

Robots.txt dosyasındaki kullanıcı aracıları

Robots.txt dosyasında çeşitli kullanıcı aracıları tanınsa da, Google en belirgin olanı izler. Google'ın tüm sayfalarınızı tarayabilmesini istiyorsanız, robots.txt dosyasına ihtiyacınız yoktur. Google'ın tarayıcılarının içeriğinizin bir kısmına erişimini engellemek veya buna izin vermek istiyorsanız, bunu yapmak için Googlebot'u kullanıcı-aracısı olarak belirtebilirsiniz. Örneğin, tüm sayfalarınızın Google aramasında görünmesini ve AdSense reklamlarının sayfalarınızda görünmesini istiyorsanız, robots.txt dosyasına ihtiyacınız yoktur. Benzer bir şekilde, Google'ın bazı sayfalara erişimini toplu olarak engellemek istiyorsanız, Googlebot kullanıcı-aracısını engellediğinizde, Google'ın diğer tüm kullanıcı-aracıları da engellenir.

Ancak, daha hassas bir denetime sahip olmak isterseniz daha kesin davranabilirsiniz. Örneğin, tüm sayfalarınızın Google Arama'da görünmesini istiyor, ancak kişisel dizininizdeki resimlerin taranmasını istemiyor olabilirsiniz. Bu durumda, Googlebot-image kullanıcı-aracısının /personal dizininizdeki dosyaları taramamasını (ancak, diğer tüm dosyaları taramasına izin vermeyi) şu şekilde sağlayabilirsiniz:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal
Başka bir örneği ele alırsak, tüm sayfalarınızda reklamların bulunmasını istediğinizi, ancak bu sayfaların Google Arama'da görünmesini istemediğinizi düşünelim. Burada, Googlebot'u engelleyebilir, Mediapartners-Google tarayıcısına izin verebilirsiniz:
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Robots meta etiketlerindeki kullanıcı aracıları

Bazı sayfalar, farklı tarayıcılara ilişkin yönergeleri belirtmek için birden çok robots meta etiketi kullanır. Örneğin:

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

Bu durumda, Google negatif yönergelerin toplamını kullanır ve Googlebot hem noindex hem de nofollow yönergelerini izler. Google'ın sitenizi nasıl tarayacağını ve dizine ekleyeceğini kontrol etme hakkında daha ayrıntılı bilgi edinin.

Bu size yardımcı oldu mu?
Bunu nasıl iyileştirebiliriz?