A Google feltérképező robotjai (felhasználói ügynökök)
A „feltérképező robot” általános kifejezés minden olyan programra (pl. robot vagy „spider”), amely automatikusan fedezi fel és térképezi fel a webhelyeket úgy, hogy követi az egyik weboldalról a másikra vezető linkeket. A Google fő feltérképező robotja a Googlebot. Ez a táblázat felsorolja a Google gyakori feltérképező robotjainak adatait, amelyeket a hivatkozási naplókban láthat, valamint a megnevezésük módját a robots.txt fájlban, a robots metacímkéket és az X-Robots-Tag HTTP-házirendeket.
Az alábbi táblázatban láthatók a Google különböző termékei és szolgáltatásai által használt feltérképező robotok:
- Felhasználóiügynök-tokent használjon a robots.txt
User-agent:sorában, ha webhelye feltérképezési szabályaiban általános feltérképezőtípust szeretne jelölni. Egyes feltérképező robotokhoz több token is tartozhat, ahogyan ez a táblázatban is látható. A szabályok érvényesítéséhez elég csak egy tokent használnia. A lista nem teljes, de tartalmazza a legtöbb olyan feltérképező robotot, amellyel webhelyén találkozhat. - A teljes felhasználóiügynök-karakterlánc a feltérképező robot teljes leírása, amely a kérésekben és a webes naplókban is megjelenik.
| Feltérképező robot | Felhasználóiügynök-token (terméktoken) | Teljes felhasználóiügynök-karakterlánc |
|---|---|---|
| APIs-Google |
|
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html) |
| AdSense |
|
Mediapartners-Google |
|
(Az androidos eszközön megjelenő weboldal hirdetésminőségét ellenőrzi) |
|
Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html) |
|
(Az iPhone-on megjelenő weboldal hirdetésminőségét ellenőrzi) |
|
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html) |
|
(Az asztali számítógépen megjelenő weboldal hirdetésminőségét ellenőrzi) |
|
AdsBot-Google (+http://www.google.com/adsbot.html) |
| Googlebot Images |
|
Googlebot-Image/1.0 |
| Googlebot News |
|
Googlebot-News |
| Googlebot Video |
|
Googlebot-Video/1.0 |
|
Googlebot (asztali számítógép) |
|
|
|
Googlebot (okostelefon) |
|
|
| Mobile AdSense |
|
(Különböző típusú mobileszközök) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html) |
|
(Az androidos alkalmazásokban lévő oldalak hirdetésminőségét ellenőrzi. Az AdsBot-Google robotok szabályait követi.) |
|
AdsBot-Google-Mobile-Apps |
|
Nem veszi figyelembe a robots.txt szabályait – itt megtudhatja, hogy miért |
|
|
|
Nem veszi figyelembe a robots.txt szabályait – itt megtudhatja, hogy miért |
|
Felhasználói ügynökök a robots.txt fájlban
Ha több felhasználói ügynök is felismerhető a robots.txt fájlban, akkor a Google a legpontosabbat fogja követni. Amennyiben azt szeretné, hogy a Google minden robotja feltérképezhesse oldalait, akkor egyáltalán nincs szüksége robots.txt fájlra. Ha engedélyezni vagy tiltani szeretné a hozzáférést a Google minden robotja számára tartalma valamely részéhez, akkor a Googlebotot kell megadnia felhasználói ügynökként. Ha például azt szeretné, hogy minden oldala megjelenjen a Google Keresésben, és AdSense-hirdetéseket szeretne megjeleníteni oldalain, akkor nincs szüksége robots.txt fájlra. Ugyanígy, amennyiben egyes oldalakat teljes mértékben le szeretne tiltani a Google-on való megjelenéstől, akkor a Googlebot felhasználói ügynök tiltásával letiltja a Google többi felhasználói ügynökét is.
Ha pedig finomabb irányítást szeretne, pontosabb feltételeket is megadhat. Tegyük fel például, hogy az összes oldalát meg szeretné jeleníteni a Google-keresésben, ám nem szeretné, ha a robotok feltérképeznék személyes mappájában lévő képeit is. Ebben az esetben a robots.txt használatával a következőképpen tilthatja le a Googlebot-image user-agent számára a /personal mappában található fájlok feltérképezését (miközben engedélyezi a Googlebot számára az összes fájl feltérképezését):
User-agent: Googlebot Disallow: User-agent: Googlebot-Image Disallow: /personalMásik példaként tegyük fel, hogy szeretne hirdetéseket megjeleníteni minden oldalán, de nem szeretné, ha az oldalak megjelennének a Google Keresés találatai között. Ekkor tiltania kell a Googlebot hozzáférését, azonban engedélyeznie kell a hozzáférést a Mediapartners-Google számára:
User-agent: Googlebot Disallow: / User-agent: Mediapartners-Google Disallow:
Felhasználói ügynökök a robots metacímkékben
Egyes oldalak több robots metacímke használatával adnak meg utasításokat a különböző feltérképező robotok részére, például a következőképpen:
<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">
Jelen esetben a Google összegzi a negatív utasításokat, és a Googlebot követi mind a noindex, mind a nofollow utasítást. További információ arról, hogy a Google hogyan térképezi fel és indexeli webhelyét.
