A „feltérképező robot” általános kifejezés minden olyan programra (pl. robot vagy „spider”), amely automatikusan felfedezi és feltérképezi a webhelyeket úgy, hogy követi az egyik weboldalról a másikra vezető linkeket. A Google fő feltérképező robotja a Googlebot. Ez a táblázat felsorolja a Google leggyakoribb feltérképező robotjainak azon adatait, amelyeket a hivatkozási naplókban láthat, valamint közli a robotok megnevezésének módját a robots.txt fájl, a robots metacímkék és az X-Robots-Tag HTTP-utasítások kontextusában.
Az alábbi táblázatban láthatók a Google különböző termékei és szolgáltatásai által használt feltérképező robotok:
- A felhasználóiügynök-token az az azonosító, amellyel a robots.txt
User-agent:sorában feltérképező robotokat jelölhet meg webhelye feltérképezési szabályainak meghatározásához. Egyes feltérképező robotokhoz több token is tartozhat, ahogyan ez a táblázatban is látható. A szabályok érvényesítéséhez elég csak egy tokent használnia. A lista nem teljes, de tartalmazza a legtöbb olyan feltérképező robotot, amellyel webhelyén találkozhat. - A teljes felhasználóiügynök-karakterlánc a feltérképező robot teljes leírása, amely a kérésekben és a webes naplókban is megjelenik.
| Feltérképező robot | Felhasználóiügynök-token (terméktoken) | Teljes felhasználóiügynök-karakterlánc |
|---|---|---|
| APIs-Google |
|
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html) |
| AdSense |
|
Mediapartners-Google |
|
(Az androidos eszközön megjelenő weboldal hirdetésminőségét ellenőrzi) |
|
Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html) |
|
(Az iPhone-on megjelenő weboldal hirdetésminőségét ellenőrzi) |
|
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html) |
|
(Az asztali számítógépen megjelenő weboldal hirdetésminőségét ellenőrzi) |
|
AdsBot-Google (+http://www.google.com/adsbot.html) |
| Googlebot Image |
|
Googlebot-Image/1.0 |
| Googlebot News |
|
Googlebot-News |
| Googlebot Video |
|
Googlebot-Video/1.0 |
|
Googlebot (asztali számítógép) |
|
|
|
Googlebot (okostelefon) |
|
|
| Mobile AdSense |
|
(Különböző mobileszközök) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html) |
|
(Az androidos alkalmazásokban lévő oldalak hirdetésminőségét ellenőrzi. Az AdsBot-Google robotok szabályait követi.) |
|
AdsBot-Google-Mobile-Apps |
|
Nem veszi figyelembe a robots.txt szabályait – itt megtudhatja, hogy miért |
|
|
|
Nem veszi figyelembe a robots.txt szabályait – itt megtudhatja, hogy miért |
|
|
| Duplex on the Web |
Figyelmen kívül hagyhatja a felhasználói ügynökökre vonatkozó * helyettesítő karaktert – itt megtudhatja, hogy miért |
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Mobile Safari/537.36 |
|
Google Favicon (Különböző szolgáltatások faviconját kéri le) |
Felhasználó által indított kérések során figyelmen kívül hagyja a robots.txt szabályait
|
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon |
| Web Light |
Nem veszi figyelembe a robots.txt szabályait – itt megtudhatja, hogy miért |
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19 |
A táblázatban szereplő Chrome/W.X.Y.Z bejegyzések W.X.Y.Z része a felhasználói ügynök által használt Chrome böngésző verzióját helyettesíti, például: 41.0.2272.96. A verziószám idővel növekszik, mindig megegyezik a Googlebot által használt legfrissebb Chromium verziószámával.
Ha ezen minta alapján keresne a naplófájlokban vagy szűrne szerverén felhasználói ügynökre, érdemes helyettesítő karaktert használnia a tényleges verziószám helyett.
Felhasználói ügynökök a robots.txt fájlban
Ha több felhasználói ügynök is felismerhető a robots.txt fájlban, akkor a Google a legpontosabbat fogja követni. Amennyiben azt szeretné, hogy a Google minden robotja feltérképezhesse oldalait, akkor egyáltalán nincs szüksége robots.txt fájlra. Ha engedélyezni vagy tiltani szeretné a hozzáférést a Google minden robotja számára tartalma valamely részéhez, akkor a Googlebotot kell megadnia felhasználói ügynökként. Ha például azt szeretné, hogy minden oldala megjelenjen a Google Keresésben, és AdSense-hirdetéseket szeretne megjeleníteni oldalain, akkor nincs szüksége robots.txt fájlra. Ugyanígy, amennyiben egyes oldalakat teljes mértékben le szeretne tiltani a Google-on való megjelenéstől, akkor a Googlebot felhasználói ügynök tiltásával letiltja a Google többi felhasználói ügynökét is.
Ha pedig finomabb irányítást szeretne, pontosabb feltételeket is megadhat. Tegyük fel például, hogy az összes oldalát meg szeretné jeleníteni a Google-keresésben, ám nem szeretné, ha a robotok feltérképeznék személyes mappájában lévő képeit is. Ebben az esetben a robots.txt használatával a következőképpen tilthatja le a Googlebot-image user-agent számára a /personal mappában található fájlok feltérképezését (miközben engedélyezi a Googlebot számára az összes fájl feltérképezését):
User-agent: Googlebot Disallow: User-agent: Googlebot-Image Disallow: /personalMásik példaként tegyük fel, hogy szeretne hirdetéseket megjeleníteni minden oldalán, de nem szeretné, ha az oldalak megjelennének a Google Keresés találatai között. Ekkor tiltania kell a Googlebot hozzáférését, azonban engedélyeznie kell a hozzáférést a Mediapartners-Google számára:
User-agent: Googlebot Disallow: / User-agent: Mediapartners-Google Disallow:
Felhasználói ügynökök a robots metacímkékben
Egyes oldalak több robots metacímke használatával adnak meg utasításokat a különböző feltérképező robotok részére, például a következőképpen:
<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">
Jelen esetben a Google összegzi a negatív utasításokat, és a Googlebot követi mind a noindex, mind a nofollow utasítást. További információ arról, hogy a Google hogyan térképezi fel és indexeli az Ön webhelyét.
