Googlen indeksointirobotit (käyttäjäagentit)

Googlen käyttämien indeksointirobottien selvittäminen

Indeksointirobotti on yleinen termi ohjelmalle (kuten hakurobotille), joka löytää ja analysoi verkkosivustoja automaattisesti seuraamalla verkkosivujen välisiä linkkejä. Googlen pääindeksointirobotti on nimeltään Googlebot. Tässä taulukossa on tietoja tavallisista Googlen indeksointiroboteista, joita saatat nähdä viittauslokeissa, ja tietoa niiden määrittämiseksi robots.txt-tiedostossa, robots-sisällönkuvauskentissä ja X-Robots-Tag-HTTP-komennoissa.

Oheisessa taulukossa olevaa käyttäjäagentin tunnusta käytetään robots.txt-tiedoston Käyttäjäagentti:-rivillä tietyn indeksointirobotin valinnassa. Joitakin indeksointirobotteja vastaa useita tunnuksia, kuten taulukosta käy ilmi. Yhden indeksointirobotin kohdalla sinun tarvitsee käyttää vain yhtä sitä vastaavaa tunnusta. Tämä ei ole täydellinen lista, mutta siinä on useimmat indeksointirobotit, jotka voit nähdä sivustollasi.

Nämä arvot voidaan väärentää. Voit varmistaa kyseessä olevan Googlebotin suorittamalla käänteisen DNS-haun.
Indeksointirobotti Käyttäjäagentin tunnukset (käytössä robots.txt-tiedostossa) Täysi käyttäjäagentin merkkijono (näkyy sivustojen lokitiedostoissa)
APIs-Google
  • APIs-Google
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense
  • Mediapartners-Google
Mediapartners-Google

AdsBot Mobile Web Android

(Tarkistaa Android-verkkosivujen mainosten laadun)

  • AdsBot-Google-Mobile
Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, esim. Gecko) Chrome Mobile Safari (yhteensopiva; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

(Tarkistaa iPhone-verkkosivujen mainosten laadun)

  • AdsBot-Google-Mobile
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1, esim. Mac OS X) AppleWebKit/601.1.46 (KHTML, esim. Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (yhteensopiva; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

(Tarkistaa verkkosivujen mainosten laadun tietokoneella)

  • AdsBot-Google
AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot Images
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
Googlebot News
  • Googlebot-News
  • Googlebot
Googlebot-News
Googlebot Video
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0

Googlebot

(Tietokone)

  • Googlebot
  • Mozilla/5.0 (yhteensopiva; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, esim. Gecko; yhteensopiva; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36

    tai (harvoin käytössä):
     
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot

(Älypuhelin)

  • Googlebot

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, esim. Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (yhteensopiva; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense
  • Mediapartners-Google
(useita mobiililaitetyyppejä) (yhteensopiva; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobile Apps Android

(Tarkistaa Android-sovellussivujen mainosten laadun. Noudattaa AdsBot-Google-robotin sääntöjä.)

  • AdsBot-Google-Mobile-Apps
AdsBot-Google-Mobile-Apps

Robots.txt-tiedoston käyttäjäagentit

Jos robots.txt-tiedostossa tunnistetaan useita käyttäjäagentteja, Google seuraa niistä yksityiskohtaisinta. Jos haluat koko Googlen voivan indeksoida sivusi, et tarvitse robots.txt-tiedostoa lainkaan. Jos haluat estää tai sallia kaikkien Googlen indeksointirobottien pääsyn johonkin sisältöösi, voit määrittää Googlebotin käyttäjäagentiksi. Jos esimerkiksi haluat kaikkien sivujesi näkyvän Google-haussa ja haluat AdSense-mainosten näkyvän sivuillasi, et tarvitse robots.txt-tiedostoa. Jos haluat estää jotkin sivut täysin Googlelta, Googlebot-käyttäjäagentin estäminen estää myös kaikki muut Googlen käyttäjäagentit.

Voit rajoittaa sivuston käyttöä myös tarkemmin. Voit esimerkiksi antaa kaikkien sivujesi näkyä Google-haussa mutta jättää henkilökohtaisen hakemistosi kuvat indeksoimatta. Estä tässä tapauksessa Googlebot-Image-käyttäjäagenttia indeksoimasta /personal-hakemistosi tiedostoja (sallimalla samalla Googlebotin indeksoida kaikki tiedostot):

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal
Toinen esimerkki: haluat mainoksia kaikille sivuillesi, mutta et halua näiden sivujen näkyvän Google-haussa. Estä tässä tapauksessa Googlebot, mutta salli Mediapartners-Google:
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Robots-sisällönkuvauskentän käyttäjäagentit

Jotkin sivut käyttävät useita robots-sisällönkuvauskenttiä eri indeksointirobottien komentojen määrittämiseksi:

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

Tässä tapauksessa Google käyttää negatiivisten komentojen summaa ja Googlebot seuraa sekä noindex- että nofollow-komentoja. Lisätietoja siitä, kuinka voit hallita Googlen tapaa indeksoida sivustoasi.

Oliko tästä artikkelista hyötyä?
Miten sivua voisi parantaa?