Søgning
Ryd søgning
Luk søgning
Google-apps
Hovedmenu
true

Google-webcrawlere

Se, hvilke robotter Google-brugere benytter til at crawle internettet

"Webcrawler" er en generisk term for et program (som f.eks. en robot eller spider), der bruges til automatisk at registrere og scanne websites ved at følge links fra én webside til en anden. Googles vigtigste webcrawler kaldes Googlebot. Tabellen nedenfor indeholder oplysninger om de mest almindelige Google-webcrawlere, du kan støde på i dine logfiler over henvisningsadresser, og om hvordan de bør præciseres i robots.txt, robots-metataggene og HTTP-direktiverne X-Robots-Tag.

Webcrawler Brugeragenttoken Komplet brugeragentstreng (som set i websitelogfiler)
APIs-Google APIs-Google APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense Mediapartners-Google
Mediapartners (Googlebot)
Mediapartners-Google

AdsBot Mobile Web Android

(Tjekker annoncekvalitet på websites til Android)

AdsBot-Google-Mobile Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

(Tjekker annoncekvalitet på websites til iPhone)

AdsBot-Google-Mobile Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

(Tjekker annoncekvalitet på websites til computer)

AdsBot-Google AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot Images Googlebot-Image (Googlebot) Googlebot-Image/1.0
Googlebot News Googlebot-News (Googlebot) Googlebot-News
Googlebot Video Googlebot-Video (Googlebot) Googlebot-Video/1.0

Googlebot

(Computer)

Googlebot

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

eller (bruges sjældent):

Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot

(Smartphone)

Googlebot

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense

Mediapartners-Google

eller

Mediapartners (Googlebot)

(Forskellige typer mobilenheder) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobile Apps Android

(Tjekker annoncekvalitet på appsider til Android. følger reglerne for AdsBot-Google-robotter.)

AdsBot-Google-Mobile-Apps AdsBot-Google-Mobile-Apps

robots.txt

Hvis der bruges flere forskellige brugeragenter i robots.txt-filen, følger Google den mest specifikke. Hvis hele Google skal kunne gennemgå dine sider, har du ikke brug for en robots.txt-fil. Hvis du vil blokere for eller tillade, at alle Googles webcrawlere får adgang til noget af dit indhold, kan du gøre det ved at angive Googlebot som brugeragenten. Hvis du f.eks. gerne vil have, at alle dine sider vises i en Google-søgning, og at AdSense-annoncer vises på dine sider, har du ikke brug for en robots.txt-fil. Hvis du helt vil blokere nogle sider mod Google, kan du blokere alle Googles andre brugeragenter ved at blokere brugeragenten Googlebot.

Hvis du vil have en mere avanceret styring, kan du dog gøre dine ønsker mere specifikke. Det kan være nyttigt, hvis du f.eks. vil have, at alle dine sider vises i Google Søgning, men ikke vil have, at billeder i din personlige mappe gennemgås. I så fald skal du bruge robots.txt til at nægte brugeragenten Googlebot-image at gennemgå filerne i mappen /personal (samtidig med at Googlebot har tilladelse til at gennemgå alle filer) på følgende måde:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal
Det kan være nyttigt, hvis du f.eks. vil have annoncer på alle dine sider, men ikke vil have, at disse sider vises i Google-søgninger. Hvis det er tilfældet, skal du blokere for Googlebot, men tillade Mediapartners-Google på følgende måde:
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

robots-metatag

Nogle sider bruger flere forskellige robots-metatags til at angive direktiver for de forskellige webcrawlere:

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

I dette tilfælde bruger Google summen af negative instruktioner, og Googlebot følger både instruktionerne noindex og nofollow. Få flere oplysninger om, hvordan du kontrollerer, hvordan Google gennemgår og indekserer dit website.

Var denne artikel nyttig?
Hvordan kan vi forbedre siden?
false