Søgning
Ryd søgning
Luk søgning
Google-apps
Hovedmenu

Googlebot

Googlebot er Googles robot til webcrawling (kaldes også en "spider"). Gennemgang ("crawling") er den proces, hvor Googlebot finder nye og opdaterede sider, der skal føjes til Google-indekset.

Vi bruger en stor mængde computere til at hente og gennemgå (eller "crawle") milliarder af sider på internettet. Googlebot bruger en algoritmisk proces: Computerprogrammer bestemmer, hvilke websites der skal gennemgås, hvor ofte, samt hvor mange sider der skal hentes fra hvert website.

Googlebots gennemgangsproces begynder med en liste over webadresser på websider, der er genereret i forbindelse med tidligere gennemgangsprocesser og udvidet med sitemapdata fra webmastere. Når Googlebot besøger hvert af disse websites, finder den links (SRC og HREF) på hver side og føjer dem til listen med sider, der skal gennemgås. Nye websites, ændringer af eksisterende websites og døde links bliver registreret og brugt til at opdatere Googles indeks.

For webmastere: Googlebot og dit website

Sådan får Googlebot adgang til dit website

For det meste besøger Googlebot ikke dit website mere end én gang for hver få sekunder i gennemsnit. På grund af netværksforsinkelser kan hastigheden dog i korte perioder virke lidt højere.

Googlebot blev udviklet til distribution på flere maskiner for at forbedre ydeevnen og omfanget, i takt med at internettet voksede. Vi anvender mange webcrawlere på maskiner, der er placeret i nærheden af de websites, de indekserer på netværket, for at reducere brugen af båndbredden. Derfor kan dine logfiler vise besøg fra flere maskiner på google.com, som alle har brugeragenten Googlebot. Vores mål er at gennemgå så mange sider på dit website, som vi kan under hvert besøg, uden at overbelaste din servers båndbredde. Anmod om en ændring af gennemgangshastigheden.

Bloker Googlebots adgang til indhold på dit website

Det er næsten umuligt at holde en webserver hemmelig ved ikke at offentliggøre links til den. Når nogen følger et link fra din "hemmelige" server til en anden webserver, kan din "hemmelige" webadresse blive vist i henvisningstagget og gemt og offentliggjort af den anden webserver i dens henvisningslogfil. På samme måde har nettet mange forældede og brudte links. Når nogen offentliggør et ukorrekt link til dit website eller undlader at opdatere links, så de afspejler ændringerne på din server, vil Googlebot forsøge at downloade et ukorrekt link fra dit website.

Hvis du vil forhindre, at Googlebot gennemgår indhold på dit website, kan du gøre flere forskellige ting, bl.a. bruge robots.txt til at blokere adgangen til filer og mapper på din server.

Når du har oprettet din robots.txt-fil, kan der være en lille forsinkelse, før Googlebot opdager dine ændringer. Hvis Googlebot stadig gennemgår indhold, som du har blokeret i robots.txt, skal du kontrollere, om robots.txt er placeret korrekt. Den skal være i den øverste mappe på serveren (f.eks. www.example.com/robots.txt). Hvis du placerer filen i en undermappe, har den ingen virkning.

Hvis du bare vil forhindre fejlmeddelelsen "filen blev ikke fundet" i din webserverlogfil, kan du oprette en tom fil med navnet robots.txt. Hvis du vil forhindre Googlebot i at følge links på en side på dit website, kan du bruge nofollow-metatagget. Du kan forhindre Googlebot i at følge et enkelt link ved at føje attributten rel="nofollow" til selve linket.

Her er nogle flere tips:

  • Afprøv, om robots.txt fungerer efter hensigten. Med værktøjet Test robots.txt på siden Blokerede webadresser kan du se, præcis hvordan Googlebot vil fortolke indholdet af din robots.txt-fil. Googles brugeragent hedder (meget passende) Googlebot.
  • Værktøjet Googlebot-simulator i Search Console giver dig mulighed for at forstå, præcis hvordan dit website registreres af Googlebot. Dette kan være meget nyttigt ved fejlfinding af problemer med indholdet på dit website eller med websitets synlighed i søgeresultaterne.

Sådan sørger du for, at dit website kan gennemgås

Googlebot finder websites ved at følge links fra side til side. Siden Fejl ved gennemgang i Search Console viser de problemer, som Googlebot har fundet ved gennemgangen af dit website. Vi anbefaler, at du gennemgår disse fejl med jævne mellemrum for at identificere eventuelle problemer med dit website.

Hvis din robots.txt-fil fungerer som den skal, men dit website ingen trafik har, er der her nogle mulige årsager til, at dit indhold ikke klarer sig godt i søgninger.

Problemer med spammere og andre brugeragenter

De IP-adresser, som Googlebot bruger, ændrer sig fra tid til anden. Den bedste måde at identificere besøg af Googlebot på er ved at bruge brugeragenten (Googlebot). Du kan bekræfte, at en robot, der får adgang til din server, virkelig er Googlebot ved at foretage et omvendt DNS-opslag.

Googlebot og alle hæderlige søgemaskinerobotter vil respektere anvisningerne i robots.txt, men nogle uvelkomne gæster og spammere respekterer dem ikke. Rapportér spam til Google.

Google har adskillige andre brugeragenter, bl.a. Feedfetcher (brugeragent Feedfetcher-Google). Eftersom Feedfetcher-anmodninger kommer fra eksplicitte handlinger foretaget af mennesker, der har føjet feeds til deres Google-startside, og ikke fra automatiske crawlere, så følger Feedfetcher ikke retningslinjerne for robots.txt. Du kan forhindre Feedfetcher i at gennemgå dit website ved at konfigurere din server til at levere en fejlmeddelelse, f.eks. 404 eller 410, til brugeragenten Feedfetcher-Google. Flere oplysninger om Feedfetcher.

Var denne artikel nyttig?
Hvordan kan vi forbedre siden?