A Google feltérképező robotjai (felhasználói ügynökök)

További információ arról, hogy a Google melyik robotokat használja az internet feltérképezésére

A „feltérképező robot” általános kifejezés minden olyan programra (pl. robot vagy „spider”), amely automatikusan fedezi fel és térképezi fel a webhelyeket úgy, hogy követi az egyik weboldalról a másikra vezető linkeket. A Google fő feltérképező robotja a Googlebot. Ez a táblázat felsorolja a Google gyakori feltérképező robotjainak adatait, amelyeket a hivatkozási naplókban láthat, valamint a megnevezésük módját a robots.txt fájlban, a robots metacímkéket és az X-Robots-Tag HTTP-házirendeket.

Az alábbi táblázatban láthatók a Google különböző termékei és szolgáltatásai által használt feltérképező robotok:

  • Felhasználóiügynök-tokent használjon a robots.txt User-agent: sorában, ha webhelye feltérképezési szabályaiban általános feltérképezőtípust szeretne jelölni. Egyes feltérképező robotokhoz több token is tartozhat, ahogyan ez a táblázatban is látható. A szabályok érvényesítéséhez elég csak egy tokent használnia. A lista nem teljes, de tartalmazza a legtöbb olyan feltérképező robotot, amellyel webhelyén találkozhat.
  • A teljes felhasználóiügynök-karakterlánc a feltérképező robot teljes leírása, amely a kérésekben és a webes naplókban is megjelenik.
Ezek az értékek hamisíthatók. Ha ellenőrizni szeretné, hogy az adott látogató valóban a Googlebot-e, futtasson fordított DNS-keresést.
Feltérképező robot Felhasználóiügynök-token (terméktoken) Teljes felhasználóiügynök-karakterlánc
APIs-Google

APIs-Google

APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense

Mediapartners-Google

Mediapartners-Google

AdsBot Mobile Web Android

(Az androidos eszközön megjelenő weboldal hirdetésminőségét ellenőrzi)

AdsBot-Google-Mobile

Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

(Az iPhone-on megjelenő weboldal hirdetésminőségét ellenőrzi)

AdsBot-Google-Mobile

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

(Az asztali számítógépen megjelenő weboldal hirdetésminőségét ellenőrzi)

AdsBot-Google

AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot Images
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
Googlebot News
  • Googlebot-News
  • Googlebot
Googlebot-News
Googlebot Video
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0

Googlebot (asztali számítógép)

Googlebot

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36

    vagy (ritkán használt):
     
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot (okostelefon)

Googlebot

 

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense

Mediapartners-Google

(Különböző típusú mobileszközök) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobile Apps Android

(Az androidos alkalmazásokban lévő oldalak hirdetésminőségét ellenőrzi. Az AdsBot-Google robotok szabályait követi.)

AdsBot-Google-Mobile-Apps

AdsBot-Google-Mobile-Apps

Feedfetcher

FeedFetcher-Google

Nem veszi figyelembe a robots.txt szabályait – itt megtudhatja, hogy miért

FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Read Aloud

Google-Read-Aloud

Nem veszi figyelembe a robots.txt szabályait – itt megtudhatja, hogy miért

  • Jelenlegi ügynök:
    Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
  • Korábbi ügynök (elavult):
    google-speakr

Felhasználói ügynökök a robots.txt fájlban

Ha több felhasználói ügynök is felismerhető a robots.txt fájlban, akkor a Google a legpontosabbat fogja követni. Amennyiben azt szeretné, hogy a Google minden robotja feltérképezhesse oldalait, akkor egyáltalán nincs szüksége robots.txt fájlra. Ha engedélyezni vagy tiltani szeretné a hozzáférést a Google minden robotja számára tartalma valamely részéhez, akkor a Googlebotot kell megadnia felhasználói ügynökként. Ha például azt szeretné, hogy minden oldala megjelenjen a Google Keresésben, és AdSense-hirdetéseket szeretne megjeleníteni oldalain, akkor nincs szüksége robots.txt fájlra. Ugyanígy, amennyiben egyes oldalakat teljes mértékben le szeretne tiltani a Google-on való megjelenéstől, akkor a Googlebot felhasználói ügynök tiltásával letiltja a Google többi felhasználói ügynökét is.

Ha pedig finomabb irányítást szeretne, pontosabb feltételeket is megadhat. Tegyük fel például, hogy az összes oldalát meg szeretné jeleníteni a Google-keresésben, ám nem szeretné, ha a robotok feltérképeznék személyes mappájában lévő képeit is. Ebben az esetben a robots.txt használatával a következőképpen tilthatja le a Googlebot-image user-agent számára a /personal mappában található fájlok feltérképezését (miközben engedélyezi a Googlebot számára az összes fájl feltérképezését):

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal
Másik példaként tegyük fel, hogy szeretne hirdetéseket megjeleníteni minden oldalán, de nem szeretné, ha az oldalak megjelennének a Google Keresés találatai között. Ekkor tiltania kell a Googlebot hozzáférését, azonban engedélyeznie kell a hozzáférést a Mediapartners-Google számára:
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Felhasználói ügynökök a robots metacímkékben

Egyes oldalak több robots metacímke használatával adnak meg utasításokat a különböző feltérképező robotok részére, például a következőképpen:

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

Jelen esetben a Google összegzi a negatív utasításokat, és a Googlebot követi mind a noindex, mind a nofollow utasítást. További információ arról, hogy a Google hogyan térképezi fel és indexeli webhelyét.

Hasznos volt ez a cikk?
Hogyan fejleszthetnénk?