Översikt över Googles sökrobotar (användaragenter)

Se vilka robotar Google använder för att genomsöka webben

Sökrobot är ett allmänt begrepp för program (som robotar och spindlar) som används för att hitta och söka igenom webbplatser automatiskt genom att följa länkar från webbsida till webbsida. Google använder huvudsakligen en sökrobot som heter Googlebot. I den här tabellen hittar du information om Googles vanligaste sökrobotar som kan dyka upp i hänvisningsloggarna och hur du ska ange dem i filen robots.txt, i robots-metataggar och i HTTP-direktivet X-Robots-Tag.

I följande tabell ser du vilka sökrobotar som används i olika produkter och tjänster på Google:

  • Användaragentens token används för att matcha en typ av sökrobot när du skriver genomsökningsregler för webbplatsen. Den ska anges på raden User-agent: i filen robots.txt. Vissa sökrobotar har fler än en token, som framgår av tabellen. Det behöver bara finnas en matchande token för att regeln ska gälla en sökrobot. Listan är inte fullständig, men tar upp de flesta sökrobotar som kan dyka upp på webbplatsen.
  • Användaragentens fullständiga sträng är en fullständig beskrivning av sökroboten. Den visas i HTTP-begäran och i webbloggarna.
Värdena kan vara förfalskade. Använd omvänd DNS-sökning om du behöver förvissa dig om det verkligen är Googlebot.
Sökrobot Användaragentens token (produkttoken) Användaragentens fullständiga sträng
APIs-Google

APIs-Google

APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense

Mediapartners-Google

Mediapartners-Google

AdsBot Mobile Web Android

(Kontrollerar annonskvaliteten på Android-webbsidor)

AdsBot-Google-Mobile

Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

(Kontrollerar annonskvaliteten på iPhone-webbsidor)

AdsBot-Google-Mobile

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

(Kontrollerar annonskvaliteten på webbsidor för dator)

AdsBot-Google

AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot Images
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
Googlebot News
  • Googlebot-News
  • Googlebot
Googlebot-News
Googlebot Video
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0

Googlebot (dator)

Googlebot

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

    eller (används sällan):
     
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot (smartphone)

Googlebot

 

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense

Mediapartners-Google

(Olika typer av mobila enheter) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobile Apps Android

(Kontrollerar annonskvaliteten på sidor i Android-appar. Följer regler för sökroboten AdsBot-Google.)

AdsBot-Google-Mobile-Apps

AdsBot-Google-Mobile-Apps

Feedfetcher

FeedFetcher-Google

Följer inte reglerna i robots.txtdet här är anledningen

FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Read Aloud

Google-Read-Aloud

Följer inte reglerna i robots.txtdet här är anledningen

  • Nuvarande agent:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
  • Tidigare agent (utfasad):
    google-speakr
Duplex on the Web

DuplexWeb-Google

Ignorerar jokertecknet * för användaragenter – det här är anledningen

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Mobile Safari/537.36

Google Favicon

(Hämtar adressikoner för olika tjänster)

Google Favicon

Används vid förfrågningar som en användare har initierat; ignorerar reglerna i robots.txt

 

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)  Chrome/49.0.2623.75 Safari/537.36 Google Favicon

 

Chrome/W.X.Y.Z i användaragenter

Överallt där strängen Chrome/W.X.Y.Z förekommer i tabellen är W.X.Y.Z en platshållare för den version av Chrome som denna användaragent använder, till exempel 41.0.2272.96. Versionsnumret ökar med tiden och svarar mot den senaste versionen av Chromium som Googlebot använder.

Om du söker i loggar eller använder mönstret som användaragentfilter på servern är det troligen bäst att använda jokertecken för versionsnumret, snarare än att ange exakt ett visst versionsnummer.

Användaragenter i filen robots.txt

Om flera användaragenter identifieras i filen robots.txt följer Google den som är mest specifik. Om du vill att alla Googles sökrobotar ska kunna genomsöka alla dina sidor behöver du inte använda robots.txt alls. Om du vill blockera eller tillåta delar av innehållet för alla Googles sökrobotar kan du göra detta genom att specificera Googlebot som användaragent. Om du till exempel vill att alla dina sidor ska visas i Googles sökresultat och att AdSense-annonser ska visas på dina sidor behöver du ingen robots.txt-fil. Om du vill blockera vissa sidor helt för Google kan du på motsvarande sätt blockera alla Googles användaragenter genom att blockera användaragenten Googlebot.

Men om du vill ha mer finjusterad kontroll kan du vara mer specifik. Du kanske till exempel vill att alla dina sidor ska visas i Googles sökresultat, men inte att bilder i din personliga katalog ska genomsökas. I så fall använder du robots.txt för att blockera användaragenten Googlebot-image från filerna i katalogen /personal (men du låter Googlebot genomsöka alla filer), så här:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal
Ett annat exempel: säg att du vill att annonser ska visas på alla dina sidor, men att du inte vill att sidorna ska visas i Googles sökresultat. Då blockerar du Googlebot, men tillåter Mediapartners-Google, så här:
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Användaragenter i robots-metataggar

På vissa sidor används flera robots-meta-taggar för att ange direktiv för olika sökrobotar, så här:

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

Här använder Google alla de negativa direktiven och Googlebot följer både noindex och nofollow. Mer detaljerad information om hur du styr hur Google genomsöker och indexerar din webbplats.

Var det här till hjälp?
Hur kan vi förbättra den?