Googles sökrobotar

Se vilka robotar Google använder för att genomsöka webben

Sökrobot är ett allmänt begrepp för program (som robotar och spindlar) som används för att hitta och söka igenom webbplatser automatiskt genom att följa länkar från en webbplats till en annan. Google använder huvudsakligen en sökrobot som heter Googlebot. I den här tabellen hittar du information om Googles vanligaste sökrobotar som kan dyka upp i hänvisningsloggarna och hur du ska ange dem i filen robots.txt, i robots-metataggar och i HTTP-direktivet X-Robots-Tag.

I följande tabell används användaragenttoken på raden User-agent: i filen robots.txt för att matcha den specifika sökroboten. Vissa sökrobotar svarar på fler än en token, vilket visas i tabellen. Du behöver bara använda en matchande token för en sökrobot.

Sökrobot Användaragenttoken (används i robots.txt) Fullständig sträng för användaragent (enligt loggfilen på webbplatsen)
APIs-Google
  • APIs-Google
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense
  • Mediapartners-Google
Mediapartners-Google

AdsBot Mobile Web Android

(Kontrollerar annonskvaliteten på Android-webbsidor)

  • AdsBot-Google-Mobile
Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, som Gecko) Chrome Mobile Safari (kompatibel: AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

(Kontrollerar annonskvaliteten på iPhone-webbsidor)

  • AdsBot-Google-Mobile
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 som Mac OS X) AppleWebKit/601.1.46 (KHTML, t.ex. Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (kompatibel: AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

(Kontrollerar annonskvaliteten på webbsidor för dator)

  • AdsBot-Google
AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot Images
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
Googlebot News
  • Googlebot-News
  • Googlebot
Googlebot-News
Googlebot Video
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0

Googlebot

(Dator)

  • Googlebot

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

eller (används sällan):

Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot

(Smartphone)

  • Googlebot

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, t.ex. Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (kompatibel; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense
  • Mediapartners-Google
(Olika typer av mobila enheter) (kompatibel; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobile Apps Android

(Kontrollerar annonskvaliteten på sidor i Android-appar. Följer regler för sökroboten AdsBot-Google.)

  • AdsBot-Google-Mobile-Apps
AdsBot-Google-Mobile-Apps

Användaragenter i filen robots.txt

Om flera användaragenter identifieras i filen robots.txt följer Google den som är mest specifik. Om du vill att alla Googles sökrobotar ska kunna genomsöka alla dina sidor behöver du inte använda robots.txt alls. Om du vill blockera eller tillåta delar av innehållet för alla Googles sökrobotar kan du göra detta genom att specificera Googlebot som användaragent. Om du till exempel vill att alla dina sidor ska visas i Googles sökresultat och att AdSense-annonser ska visas på dina sidor behöver du ingen robots.txt-fil. Om du vill blockera vissa sidor helt för Google kan du på motsvarande sätt blockera alla Googles användaragenter genom att blockera användaragenten Googlebot.

Men om du vill ha mer finjusterad kontroll kan du vara mer specifik. Du kanske till exempel vill att alla dina sidor ska visas i Googles sökresultat, men inte att bilder i din personliga katalog ska genomsökas. I så fall använder du robots.txt för att blockera användaragenten Googlebot-image från filerna i katalogen /personal (men du låter Googlebot genomsöka alla filer), så här:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal
Ett annat exempel: säg att du vill att annonser ska visas på alla dina sidor, men att du inte vill att sidorna ska visas i Googles sökresultat. Då blockerar du Googlebot, men tillåter Mediapartners-Google, så här:
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Användaragenter i robots-metataggen

På vissa sidor används flera robots-meta-taggar för att ange direktiv för olika sökrobotar, så här:

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

Här använder Google alla de negativa direktiven och Googlebot följer både noindex och nofollow. Mer detaljerad information om hur du styr hur Google genomsöker och indexerar din webbplats.

Var den här artikeln till hjälp?
Hur kan vi förbättra den?