"Tarayıcı", bir web sayfasından diğerine giden bağlantıları izleyerek, web sitelerini otomatik bir biçimde keşfetmek ve taramak amacıyla kullanılan tüm programlar (robot veya örümcek gibi) için kullanılan genel bir terimdir. Google'ın ana tarayıcısına Googlebot adı verilir. Bu tabloda, yönlendiren günlüklerinizde görebileceğiniz yaygın kullanılan Google tarayıcılarıyla ilgili bilgiler ve bunların robots.txt, robots meta etiketleri ve X-Robots-Tag HTTP yönergelerinde nasıl belirtilmeleri gerektiği listelenmektedir.
Aşağıdaki tabloda, Google’daki çeşitli ürün ve hizmetler tarafından kullanılan tarayıcılar gösterilmektedir:
- Kullanıcı aracısı jetonu, robots.txt dosyanızdaki
User-agent: satırında, siteniz için tarama kuralları yazılırken genel tarayıcı türüyle eşleştirme yapmak için kullanılır. Bazı tarayıcıların tabloda gösterildiği gibi birden fazla jetonu vardır; bir kuralı uygulamak için yalnızca bir tarayıcı belirtecinizin eşleşmesi yeterlidir. Bu liste tam olmasa da, web sitenizde görebileceğiniz tarayıcıların çoğunu kapsamaktadır. - Tam kullanıcı aracısı dizesi, tarayıcının tam açıklamasıdır, istekte ve web günlüklerinizde görünür.
| Tarayıcı | Kullanıcı aracısı jetonu (ürün jetonu) | Tam kullanıcı aracısı dizesi |
|---|---|---|
| APIs-Google |
|
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html) |
| AdSense |
|
Mediapartners-Google |
|
(Android web sayfası reklam kalitesini kontrol eder) |
|
Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html) |
|
(iPhone web sayfası reklam kalitesini kontrol eder) |
|
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html) |
|
(Masaüstü web sayfası reklam kalitesini denetler) |
|
AdsBot-Google (+http://www.google.com/adsbot.html) |
| Googlebot Image |
|
Googlebot-Image/1.0 |
| Googlebot News |
|
Googlebot-News |
| Googlebot Video |
|
Googlebot-Video/1.0 |
|
Googlebot (Masaüstü) |
|
|
|
Googlebot (Akıllı Telefon) |
|
|
| Mobil AdSense |
|
(Çeşitli mobil cihaz türleri) (uyumlu; Mediapartners-Google/2.1; +http://www.google.com/bot.html) |
|
(Android uygulama sayfası reklam kalitesini kontrol eder. AdsBot-Google robotlarının kurallarına uyar.) |
|
AdsBot-Google-Mobile-Apps |
|
Robots.txt kurallarına uymuyor - nedeninini burada bulabilirsiniz |
|
|
|
Robots.txt kurallarına uymuyor - Nedenini buradan öğrenebilirsiniz |
Mevcut aracılar:
Eski aracı (kullanımdan kaldırıldı): |
|
| Duplex on the Web |
* kullanıcı aracısı joker karakterini yok sayabilir - nedenini burada bulabilirsiniz |
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Mobile Safari/537.36 |
|
Google Site Simgesi (Çeşitli hizmetler için site simgelerini alır) |
Kullanıcı tarafından başlatılan istekler için robots.txt kurallarını yok sayar
|
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon |
| Web Light |
Robots.txt kurallarına uymuyor - nedenini buradan öğrenebilirsiniz |
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19 |
Tablodaki kullanıcı aracısı dizelerinde Chrome/WXYZ ifadesini gördüğünüz her yerde, W.X.Y.Z aslında Chrome'un sürümünü temsil eden ve bu kullanıcı aracısı tarafından kullanılan bir yer tutucudur: Örneğin, 41.0.2272.96. Googlebot tarafından kullanılan en son Chromium sürümüyle eşleşmesi için bu sürüm numarası zaman içinde artar.
Günlüklerinizde arama yapıyorsanız veya sunucunuzu bu sürüm numarası kalıbına sahip bir kullanıcı aracısına göre filtreliyorsanız, büyük olasılıkla sürüm numarasını tam olarak belirtmek yerine için joker karakterler kullanmanız gerekir.
Robots.txt dosyasındaki kullanıcı aracıları
Robots.txt dosyasında çeşitli kullanıcı aracıları tanınsa da, Google en belirgin olanı izler. Google'ın tüm sayfalarınızı tarayabilmesini istiyorsanız, robots.txt dosyasına ihtiyacınız yoktur. Google'ın tarayıcılarının içeriğinizin bir kısmına erişimini engellemek veya buna izin vermek istiyorsanız, bunu yapmak için Googlebot'u kullanıcı-aracısı olarak belirtebilirsiniz. Örneğin, tüm sayfalarınızın Google aramasında görünmesini ve AdSense reklamlarının sayfalarınızda görünmesini istiyorsanız, robots.txt dosyasına ihtiyacınız yoktur. Benzer bir şekilde, Google'ın bazı sayfalara erişimini toplu olarak engellemek istiyorsanız, Googlebot kullanıcı-aracısını engellediğinizde, Google'ın diğer tüm kullanıcı-aracıları da engellenir.
Ancak, daha hassas bir denetime sahip olmak isterseniz daha kesin davranabilirsiniz. Örneğin, tüm sayfalarınızın Google Arama'da görünmesini istiyor, ancak kişisel dizininizdeki resimlerin taranmasını istemiyor olabilirsiniz. Bu durumda, Googlebot-image kullanıcı-aracısının /personal dizininizdeki dosyaları taramamasını (ancak, diğer tüm dosyaları taramasına izin vermeyi) şu şekilde sağlayabilirsiniz:
User-agent: Googlebot Disallow: User-agent: Googlebot-Image Disallow: /personalBaşka bir örneği ele alırsak, tüm sayfalarınızda reklamların bulunmasını istediğinizi, ancak bu sayfaların Google Arama'da görünmesini istemediğinizi düşünelim. Burada, Googlebot'u engelleyebilir, Mediapartners-Google tarayıcısına izin verebilirsiniz:
User-agent: Googlebot Disallow: / User-agent: Mediapartners-Google Disallow:
Robots meta etiketlerindeki kullanıcı aracıları
Bazı sayfalar, farklı tarayıcılara ilişkin yönergeleri belirtmek için birden çok robots meta etiketi kullanır. Örneğin:
<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">
Bu durumda, Google negatif yönergelerin toplamını kullanır ve Googlebot hem noindex hem de nofollow yönergelerini izler. Google'ın sitenizi nasıl tarayacağını ve dizine ekleyeceğini kontrol etme hakkında daha ayrıntılı bilgi edinin.
