Oversigt over Google-crawlere (brugeragenter)

Se, hvilke robotter Google-brugere benytter til at crawle internettet

"Crawler" er en generisk term for et program (f.eks. en robot eller spider), der bruges til automatisk at registrere og scanne websites ved at følge links fra én webside til en anden. Googles vigtigste crawler er Googlebot. Tabellen nedenfor indeholder oplysninger om de mest almindelige Google-crawlere, du kan støde på i dine logfiler over henvisningsadresser, og om, hvordan de bør præciseres i robots.txt, robots-metataggene og HTTP-direktiverne X-Robots-Tag.

Nedenstående tabel viser, hvilke crawlere der anvendes af forskellige produkter og tjenester på Google:

  • Brugeragenttokenet bruges på linjen User-agent: i robots.txt til at matche en crawlertype, når du skriver crawlregler for dit website. Nogle crawlere har mere end ét token som vist i tabellen, og du skal kun matche én crawlertoken for at anvende en regel. Denne liste er ikke udtømmende, men omfatter størstedelen af de crawlere, du kan se på dit website.
  • Den komplette brugeragentstreng er en fuld beskrivelse af crawleren og vises i anmodningen og dine weblogfiler.
Disse værdier kan være forfalskede. Hvis du har brug for at få bekræftet, at den besøgende er Googlebot, skal du bruge omvendt DNS-opslag.
Crawler Brugeragenttoken (produkttoken) Komplet brugeragentstreng
APIs-Google

APIs-Google

APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense

Mediapartners-Google

Mediapartners-Google

AdsBot Mobile Web Android

(Tjekker annoncekvalitet på websites til Android)

AdsBot-Google-Mobile

Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

(Tjekker annoncekvalitet på websites til iPhone)

AdsBot-Google-Mobile

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

(Tjekker annoncekvalitet på websites til computer)

AdsBot-Google

AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot Images
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
Googlebot News
  • Googlebot-News
  • Googlebot
Googlebot-News
Googlebot Video
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0

Googlebot (computer)

Googlebot

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36

    eller (bruges sjældent):
     
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot (smartphone)

Googlebot

 

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense

Mediapartners-Google

(Forskellige typer mobilenheder) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobile Apps Android

(Tjekker annoncekvalitet på appsider til Android. følger reglerne for AdsBot-Google-robotter.)

AdsBot-Google-Mobile-Apps

AdsBot-Google-Mobile-Apps

Feedfetcher

FeedFetcher-Google

Tager ikke højde for robots.txt-regler – her kan du se hvorfor

FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Read Aloud

Google-Read-Aloud

Tager ikke højde for robots.txt-reglerher kan du se hvorfor

  • Aktuel agent:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
  • Tidligere agent (udfaset):
    google-speakr
Duplex på nettet

DuplexWeb-Google

Kan ignorere user-agent med jokertegnet * – her kan du se hvorfor

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Mobile Safari/537.36

Google Favicon

(Henter favikoner til forskellige tjenester)

Google Favicon

Til anmodninger fra brugere – ignorerer robots.txt-regler

 

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)  Chrome/49.0.2623.75 Safari/537.36 Google Favicon

Brugeragenter i robots.txt

Hvis der bruges flere forskellige brugeragenter i robots.txt-filen, følger Google den mest specifikke. Hvis hele Google skal kunne gennemgå dine sider, har du ikke brug for en robots.txt-fil. Hvis du vil blokere for eller tillade, at alle Googles webcrawlere får adgang til noget af dit indhold, kan du gøre det ved at angive Googlebot som brugeragenten. Hvis du f.eks. gerne vil have, at alle dine sider vises i en Google-søgning, og at AdSense-annoncer vises på dine sider, har du ikke brug for en robots.txt-fil. Hvis du helt vil blokere nogle sider mod Google, kan du blokere alle Googles andre brugeragenter ved at blokere brugeragenten Googlebot.

Hvis du vil have en mere avanceret styring, kan du dog gøre dine ønsker mere specifikke. Det kan være nyttigt, hvis du f.eks. vil have, at alle dine sider vises i Google Søgning, men ikke vil have, at billeder i din personlige mappe gennemgås. I så fald skal du bruge robots.txt til at nægte brugeragenten Googlebot-image at gennemgå filerne i mappen /personal (samtidig med at Googlebot har tilladelse til at gennemgå alle filer) på følgende måde:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal
Det kan være nyttigt, hvis du f.eks. vil have annoncer på alle dine sider, men ikke vil have, at disse sider vises i Google-søgninger. Hvis det er tilfældet, skal du blokere for Googlebot, men tillade Mediapartners-Google på følgende måde:
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Brugeragenter i robots-metatags

Nogle sider bruger flere forskellige robots-metatags til at angive direktiver for de forskellige crawlere:

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

I dette tilfælde bruger Google summen af negative instruktioner, og Googlebot følger både instruktionerne noindex og nofollow. Få flere oplysninger om, hvordan du kontrollerer, hvordan Google gennemgår og indekserer dit website.

Var disse oplysninger nyttige?
Hvordan kan vi forbedre siden?