Google-webcrawlere

Se, hvilke robotter Google-brugere benytter til at crawle internettet

"Webcrawler" er en generisk term for et program (som f.eks. en robot eller spider), der bruges til automatisk at registrere og scanne websites ved at følge links fra én webside til en anden. Googles vigtigste webcrawler kaldes Googlebot. Tabellen nedenfor indeholder oplysninger om de mest almindelige Google-crawlere, du kan støde på i dine logfiler over henvisningsadresser, og om hvordan de bør præciseres i robots.txt, robots-metataggene og HTTP-direktiverne X-Robots-Tag.

I følgende tabel bruges brugeragenttokenet i linjen User-agent: i robots.txt til at matche den specifikke crawler. Nogle crawlere besvarer mere end ét token som vist i tabellen, og du må kun bruge ét matchende token til en crawler.

Crawler Brugeragenttokens (som bruges i robots.txt) Komplet brugeragentstreng (som set i websitelogfiler)
APIs-Google
  • APIs-Google
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense
  • Mediapartners-Google
Mediapartners-Google

AdsBot Mobile Web Android

(Tjekker annoncekvalitet på websites til Android)

  • AdsBot-Google-Mobile
Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

(Tjekker annoncekvalitet på websites til iPhone)

  • AdsBot-Google-Mobile
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

(Tjekker annoncekvalitet på websites til computer)

  • AdsBot-Google
AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot Images
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
Googlebot News
  • Googlebot-News
  • Googlebot
Googlebot-News
Googlebot Video
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0

Googlebot

(Computer)

  • Googlebot

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

eller (bruges sjældent):

Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot

(Smartphone)

  • Googlebot

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense
  • Mediapartners-Google
(Forskellige typer mobilenheder) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobile Apps Android

(Tjekker annoncekvalitet på appsider til Android. følger reglerne for AdsBot-Google-robotter.)

  • AdsBot-Google-Mobile-Apps
AdsBot-Google-Mobile-Apps

Brugeragenter i robots.txt

Hvis der bruges flere forskellige brugeragenter i robots.txt-filen, følger Google den mest specifikke. Hvis hele Google skal kunne gennemgå dine sider, har du ikke brug for en robots.txt-fil. Hvis du vil blokere for eller tillade, at alle Googles webcrawlere får adgang til noget af dit indhold, kan du gøre det ved at angive Googlebot som brugeragenten. Hvis du f.eks. gerne vil have, at alle dine sider vises i en Google-søgning, og at AdSense-annoncer vises på dine sider, har du ikke brug for en robots.txt-fil. Hvis du helt vil blokere nogle sider mod Google, kan du blokere alle Googles andre brugeragenter ved at blokere brugeragenten Googlebot.

Hvis du vil have en mere avanceret styring, kan du dog gøre dine ønsker mere specifikke. Det kan være nyttigt, hvis du f.eks. vil have, at alle dine sider vises i Google Søgning, men ikke vil have, at billeder i din personlige mappe gennemgås. I så fald skal du bruge robots.txt til at nægte brugeragenten Googlebot-image at gennemgå filerne i mappen /personal (samtidig med at Googlebot har tilladelse til at gennemgå alle filer) på følgende måde:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal
Det kan være nyttigt, hvis du f.eks. vil have annoncer på alle dine sider, men ikke vil have, at disse sider vises i Google-søgninger. Hvis det er tilfældet, skal du blokere for Googlebot, men tillade Mediapartners-Google på følgende måde:
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Brugeragenter i robots-metatags

Nogle sider bruger flere forskellige robots-metatags til at angive direktiver for de forskellige crawlere:

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

I dette tilfælde bruger Google summen af negative instruktioner, og Googlebot følger både instruktionerne noindex og nofollow. Få flere oplysninger om, hvordan du kontrollerer, hvordan Google gennemgår og indekserer dit website.

Var denne artikel nyttig?
Hvordan kan vi forbedre siden?