Rapport om crawlstatistik

Rapporten om crawlstatistik viser dig statistik om Googles crawlhistorik på dit website. Rapportens statistik kan f.eks. omfatte, hvor mange anmodninger der blev foretaget, og hvornår de blev foretaget, hvad serverens svar var, og om der har været problemer med tilgængeligheden. Du kan bruge denne rapport til at se, om Google støder på problemer med annoncevisning under crawl af dit website.

Denne rapport er rettet mod avancerede brugere. Hvis du har et website med færre end tusind sider, behøver du ikke bruge denne rapport eller tage højde for crawloplysningerne på dette niveau.

Denne rapport er kun tilgængelig for ejendomme på rodniveau. Det vil sige, at ejendommen skal enten være en domæneejendom (f.eks. eksempel.com eller m.eksempel.com) eller en ejendom med webadressepræfiks på rodniveau (https://eksempel.com, http://eksempel.com, http://m.eksempel.com).

Åbn rapporten om crawlstatistik

C<span/>rawl Budget and the Crawl Stats report - Google Search Console Training

Du kan åbne rapporten om crawlstatistik i Search Console ved at klikke på (Ejendomsindstillinger) > Crawlstatistik.

Kom godt i gang

Du bør kende følgende oplysninger, før du bruger denne rapport:

• Sådan fungerer Google Søgning
• Emner til avancerede brugere, særligt om crawl og indeksering samt sitemaps.
• Forskellige emner vedrørende administration af adgang til dit website, herunder blokering af robots.txt.
• Hvis du har et stort website (hundredtusindvis af sider), kan du se en vejledning i, hvordan du administrerer samt finder og retter fejl med dit crawlbudget her.

Om dataene

• Alle webadresser, der vises og tælles, er de faktiske webadresser, som Google anmoder om. Data tildeles ikke til kanoniske webadresser, som det er tilfældet i visse andre rapporter.
• Hvis en webadresse har en omdirigering på serversiden, tælles hver anmodning i omdirigeringskæden som en separat anmodning. Så hvis side1 omdirigerer til side2, som omdirigerer til side3, får du vist separate anmodninger for side1 (returnerer 301/302), side2 (returnerer 301/302) og side3 (returnerer forhåbentlig 200), hvis Google anmoder om side1. Bemærk, at der kun vises sider på det aktuelle domæne. Et omdirigeringssvar har filtypen "Anden filtype". Omdirigeringer på klientsiden tælles ikke med.
• Crawls, der blev overvejet, men ikke foretaget, fordi robots.txt ikke var tilgængelig, medregnes i de samlede antal crawls, men rapporten har muligvis begrænsede oplysninger om disse forsøg. Flere oplysninger
• Ressourcer og omfang:
  • Alle data er begrænset til det aktuelt valgte domæne. Anmodninger til andre domæner vises ikke. Dette omfatter anmodninger om sideressourcer (f.eks. billeder), der hostes uden for denne ejendom. Hvis siden eksempel.com/minside indeholder billedet google.com/img.png, bliver anmodningen om google.com/img.png ikke vist i rapporten om crawlstatistik for ejendommen eksempel.com.
  • På samme måde vises anmodninger til et søskendedomæne (dk.eksempel og de.eksempel) ikke. Hvis du kigger på rapporten om crawlstatistik for dk.eksempel, vises der ikke anmodninger for et billede på de.eksempel.
  • Anmodninger mellem underdomæner kan dog ses fra det overordnede domæne. Hvis du f.eks. ser data for eksempel.com, kan du se alle anmodninger til eksempel.com, dk.eksempel, de.eksempel.com og alle andre underordnede domæner på alle niveauer under eksempel.com.
  • Hvis din ejendoms ressourcer f.eks. bruges af en side på et andet domæne, vil du muligvis se crawlanmodninger tilknyttet hostsiden, men du vil ikke se nogen kontekst, der indikerer, at ressourcen bliver crawlet, fordi den bruges af en side på et andet domæne (dvs. at du ikke kan se, at billedet eksempel.com/imageX.png er blevet crawlet, fordi det er inkluderet på siden etandeteksempel.com/minside).
  • Crawldata omfatter både http- og https-protokoller, også for ejendomme med webadressepræfiks. Det betyder, at rapporten med crawlstatistik om http://eksempel.com indeholder anmodninger til både http://eksempel.com og https://eksempel.com. Eksemplerne på webadresser for ejendomme med webadressepræfiks er dog begrænset til den protokol, der er defineret for ejendommen (http eller https).

Kendt problem: Rapporten om crawlstatistik rapporterer i øjeblikket om de fleste crawlanmodninger, men nogle anmodninger tælles af forskellige årsager muligvis ikke med. Vi forventer, at vores dækning stiger med tiden, så den dækker de fleste, hvis ikke alle anmodninger. Derfor kan du opleve små forskelle mellem logs med anmodninger for dit website og de tal, der rapporteres her.

Find rundt i rapporten

Rapporten viser følgende crawloplysninger om dit website:

• Samlet antal crawlanmodninger
• Samlet størrelse på download
• Gennemsnitlig svartid
• Hoststatus
• Svar på crawl
• Filtype
• Crawlformål
• Googlebot-type

Klik på en tabelpost for at få en detaljeret visning af det pågældende element, bl.a. en liste med eksempelwebadresser. Klik på en webadresse for at få oplysninger om den specifikke crawlanmodning. I tabellen, der viser svar grupperet efter type, kan du f.eks. klikke på rækken HTML for at se samlede crawloplysninger for alle HTML-sider, der er crawlet på dit website, samt oplysninger såsom crawltid, svarkode, antal svar og meget mere for et udvalg af eksempler på de pågældende webadresser.

Hosts og underordnede domæner

Hvis din ejendom er på domæneniveau (eksempel.com, http://eksempel.com, https://m.eksempel.com), og den indeholder to eller flere underordnede domæner (f.eks. dk.eksempel.com og de.eksempel.com), kan du se data for det overordnede domæne, som omfatter alle underordnede, eller som er tilpasset til et enkelt underordnet domæne.

Hvis du vil se rapporten baseret på et bestemt underordnet domæne, skal du klikke på det underordnede domæne på listen Hosts på landingssiden for det overordnede domæne. Kun de 20 vigtigste underordnede domæner, der har modtaget trafik inden for de seneste 90 dage, vises.

Eksempler på webadresser

Du kan klikke på en hvilken som helst af de grupperede datatypeposter (svar, filtype, formål, Googlebot-type) for at se en liste med eksempler på webadresser af denne type.

Eksemplerne på webadresser er ikke udtømmende, men er blot repræsentative eksempler. Hvis du ikke kan finde en webadresse på listen, er det ikke ensbetydende med, at vi ikke har anmodet om den. Antallet af eksempler kan blive vægtet efter dag, så du vil muligvis opleve, at der kan være flere eksempler for nogle anmodningstyper end for andre. Dette bør blive udlignet over tid.

Samlet antal crawlanmodninger

Det samlede antal crawlanmodninger, der er udstedt for webadresser på dit website, uanset om de var vellykkede eller ej. Dataene omfatter anmodninger for ressourcer, der anvendes af siden, hvis disse ressourcer er på dit website. Anmodninger for ressourcer, der hostes uden for dit website, tælles ikke med. Duplikerede anmodninger for den samme webadresse tælles enkeltvis. Hvis din robots.txt-fil ikke er tilstrækkeligt tilgængelig, medregnes potentielle hentninger.

Mislykkede anmodninger, der tælles med, omfatter følgende:

• Hentninger, som aldrig blev foretaget, fordi robots.txt-filen ikke var tilstrækkeligt tilgængelig.
• Hentninger, der mislykkedes på grund af problemer med DNS-oversættelse
• Hentninger, der mislykkedes på grund af problemer med serverforbindelsen
• Hentninger, der afbrudt på grund af loops ved omdirigering

Samlet størrelse på download

Det samlede antal bytes, der blev downloadet fra dit website under crawl i det angivne tidsrum. Hvis Google har gemt en sideressource, der bruges af flere sider, i cache, anmodes der kun om ressourcen første gang (når den gemmes i cache).

Gennemsnitlig svartid

Gennemsnitlig svartid for alle ressourcer, der er hentet fra dit website i det angivne tidsrum. Hver ressource, der linkes til fra en side, tælles som et separat svar.

Hoststatus

Hoststatus beskriver, om Google stødte på problemer med tilgængeligheden under forsøget på at crawle dit website. Status kan være en af følgende værdier:

• 
  Google har ikke registreret nogen væsentlige problemer med tilgængeligheden i forbindelse med crawl på dit website i løbet af de seneste 90 dage – godt gået! Det er ikke nødvendigt at foretage sig noget her.
• 
  Google har registreret mindst ét væsentligt problem med tilgængeligheden i forbindelse med crawl på dit website i løbet af de seneste 90 dage, men det forekom for mere end en uge siden. Der kan være opstået et midlertidigt problem, eller problemet kan være blevet løst. Du bør tjekke tabellen Svar for at se, hvad problemerne var, og for at afgøre, om du skal foretage dig noget.
• 
  Google har registreret mindst ét betydeligt problem med tilgængeligheden i forbindelse med crawl på dit website i løbet af den seneste uge. Da fejlen opstod for nylig, bør du forsøge at finde ud af, om dette er et tilbagevendende problem. Tjek tabellen Svar for at se, hvad problemerne var, og for at afgøre, om du skal foretage dig noget.

Kig efter følgende

Ideelt set bør din hoststatus være Grøn. Hvis din status for tilgængelighed er rød, skal du klikke for at se oplysninger om tilgængelighed for robots.txt, DNS-opløsning og hostforbindelse.

Oplysninger om hoststatus

Status for hosttilgængelighed vurderes i følgende kategorier. En betydelig fejl i en kategori kan føre til en lavere tilgængelighedsstatus. Klik på en kategori i rapporten for at få flere oplysninger.

For hver kategori kan du se et diagram med crawldata for tidsrummet. Diagrammet har en rød stiplet linje. Hvis den pågældende metric var over den stiplede linje for denne kategori (hvis f.eks. DNS-opløsningen mislykkes for mere end 5 % af anmodningerne på en given dag), betragtes det som et problem for denne kategori, og statussen afspejler, hvor længe der er gået siden det seneste problem.

• robots.txt-hentning
  Grafen viser fejlraten for robots.txt-anmodninger under et crawl. Google anmoder jævnligt om denne fil, og hvis anmodningen ikke enten sender en gyldig fil (udfyldt eller tom) eller et 404-svar (filen findes ikke) tilbage, vil Google sænke crawlhastigheden eller stoppe med at crawle dit website, indtil der kan indhentes et fyldestgørende robots.txt-svar. (Se flere oplysninger nedenfor)
• DNS-oversættelse
  Grafen viser, hvornår din DNS-server ikke kunne genkende dit hostname eller ikke svarede under crawl. Hvis du ser fejl, skal du kontakte din registrator for at sikre, at dit website er konfigureret korrekt, og at din server har forbindelse til internettet.
• Serverforbindelse
  Grafen viser, hvornår din server ikke svarede eller ikke gav et komplet svar for en webadresse under et crawl. Se Serverfejl for at få flere oplysninger om, hvordan du retter disse fejl.

Flere oplysninger om tilgængelighed for robots.txt

Nedenfor er en mere detaljeret beskrivelse af, hvordan Google tjekker (og er afhængig af) robots.txt-filer, når dit website crawles.

Det er ikke påkrævet, at dit website har en robots.txt-fil, men det skal returnere et vellykket svar (som defineret nedenfor), når der anmodes om denne fil. Hvis ikke det gør det, kan Google muligvis stoppe med at crawle dit website.

• Vellykkede robots.txt-svar
• Alle følgende svar betragtes som vellykkede svar:
  • HTTP 200 og en robots.txt-fil (filen kan være gyldig, ugyldig eller tom). Hvis filen indeholder syntaksfejl, anses anmodningen stadig for at være vellykket, men Google ignorerer muligvis regler med en syntaksfejl.
  • HTTP 403/404/410 (filen findes ikke). Det er ikke påkrævet, at dit website har en robots.txt-fil.
• Mislykkede robots.txt-svar
  • HTTP 429/5XX (forbindelsesproblem)

Sådan anmoder Google om og bruger robots.txt-filer, når et website crawles:

1. Før crawl af dit website påbegyndes, tjekker Google først, om der er gennemført en vellykket robots.txt-anmodning for nylig (for mindre end 24 timer siden).
2. Hvis Google har et vellykket robots.txt-svar, der er mindre end 24 timer gammelt, bruger Google den pågældende robots.txt-fil, når dit website crawles. Husk, at 404 Ikke fundet er et vellykket svar, og at det betyder, at der ikke er nogen robots.txt-fil, hvilket vil sige, at Google kan crawle alle webadresser på websitet.
3. Hvis det seneste svar mislykkedes eller er mere end 24 timer gammelt, anmoder Google om din robots.txt-fil:
   • Hvis anmodningen er vellykket, kan crawlprocessen påbegyndes.
   • Hvis den mislykkes:
     • I de første 12 timer vil Google holde op med at crawle dit website, men vil fortsætte med at anmode om din robots.txt-fil.
     • I tidsrummet fra 12 timer til 30 dage bruger Google den senest hentede robots.txt-fil, mens Google fortsat vil anmode om din robots.txt-fil.
     • Efter 30 dage:
       • Hvis websitets startside er tilgængelig, agerer Google, som om der ikke er nogen robots.txt-fil, og Google vil crawle uden begrænsninger.
       • Hvis websitets startside ikke er tilgængelig, stopper Google med at crawle websitet.
       • I begge tilfælde vil Google fortsætte med at anmode om din robots.txt-fil med jævne mellemrum.

Crawls, der blev afbrudt, fordi robots.txt-filen ikke var tilgængelig, medregnes i de samlede antal crawls. Disse crawls blev dog ikke foretaget, så nogle grupperingsrapporter (crawls efter formål, crawls efter svar osv.) viser ikke disse crawls eller har begrænsede oplysninger om dem.

Svar på crawl

Denne tabel viser de svar, som Google modtog under crawl af dit website grupperet efter svartype som en procentdel af alle crawlsvar. Dataene er baseret på det samlede antal anmodninger og ikke på webadressen, så hvis Google anmodede om en webadresse to gange og fik serverfejl (500) første gang og OK (200) anden gang, er svaret 50 % serverfejl og 50 % OK.

Kig efter følgende

Størstedelen af svarene bør være af typen 200 eller andre positive svartyper, medmindre du foretager en omorganisering af et website eller en flytning af et website. På listen nedenfor kan du se, hvordan du håndterer andre svarkoder.

 

Nedenfor kan du se nogle almindelige svarkoder, og hvordan du håndterer dem:

Positive svarkoder

Disse sider fungerer fint og forårsager ikke problemer.

• OK (200): Under normale forhold bør størstedelen af svarene være af typen 200.
• Flyttet permanent (301): Din side sender et HTTP 301- eller 308-svar (permanent flyttet) tilbage, hvilket sandsynligvis er det svar, du ville have.
• Flyttet midlertidigt (302): Din side sender et HTTP 302- eller 307-svar (midlertidigt flyttet) tilbage, hvilket sandsynligvis er det svar, du ville have. Hvis denne side er flyttet permanent, skal du ændre det til 301.
• Flyttet (andet): En meta-refresh.
• Ikke ændret (304): Siden har ikke ændret sig siden den seneste crawlanmodning.

Mulige positive svarkoder

Disse svar kan betyde, at alt er, som det skal være, men det kan være en god idé at tjekke, at det er det forventede svar.

• Fejl af typen Ikke fundet (404) kan skyldes, at der er brudte links på dit website eller uden for dit website. Det er ikke muligt, umagen værd eller i det hele taget hensigtsmæssigt at løse alle 404-fejl på dit website, og ofte er 404 det rette svar at sende tilbage (f.eks. hvis siden rent faktisk er helt forsvundet uden en erstatningsside). Få flere oplysninger om, hvordan du løser 404-fejl.

Negative svarkoder

Du bør rette sider, der returnerer disse fejl, for at forbedre din crawl.

• robots.txt er ikke tilgængelig: Hvis din robots.txt-fil er utilgængelig i en dag, stopper Google med at crawle i et stykke tid, indtil det er muligt at få et fyldestgørende svar på en anmodning om robots.txt. Sørg for ikke at tilsløre din robots.txt-fil over for Google eller variere siden robots.txt efter brugeragent.
  Dette svar er ikke det samme som at returnere fejlmeddelelsen "Ikke fundet (404)" for en robots.txt-fil, hvilket anses for at være et godt svar. Få flere oplysninger om robots.txt.
• Uautoriseret (401/407): Du bør enten blokere disse sider, så de ikke kan crawles med robots.txt, eller tage stilling til, om de skal fjernes. Hvis disse sider ikke har sikre data, og du vil have dem crawlet, kan du overveje at flytte oplysningerne til ikke-sikre sider eller give Googlebot adgang uden et login. Vær dog opmærksom på, at Googlebot kan være forfalsket, hvilket betyder, at sidens sikkerhed i realiteten fjernes, hvis du tillader Googlebot adgang.
• Serverfejl (5XX): Disse fejl udløser advarsler om tilgængelighed og bør løses, hvis det er muligt. Miniaturediagrammet viser, hvornår disse fejl omtrent opstod. Klik for at se flere oplysninger og nøjagtige tidspunkter. Find ud af, om der er tale om midlertidige problemer, eller om problemerne repræsenterer mere alvorlige tilgængelighedsfejl på dit website. Hvis Google crawler dit website for meget, kan du anmode om en lavere crawlhastighed. Hvis dette er et tegn på et alvorligt problem med tilgængeligheden, kan du læse om crawludsving. Se Serverfejl for at få flere oplysninger om, hvordan du retter disse fejl.
• Anden klientfejl (4XX): En anden 4XX-fejl (på klientsiden) er ikke specificeret her. Det er bedst at løse disse problemer.
• DNS svarer ikke: Din DNS-server svarede ikke på anmodninger om webadresser på dit website.
• DNS-fejl: En anden uspecificeret DNS-fejl.
• Fejl ved hentning: Siden kunne ikke hentes på grund af et ugyldigt portnummer, en ugyldig IP-adresse eller et svar, der ikke kan parses.
• Siden kunne ikke indlæses: Andre fejl i forbindelse med hentning af siden, hvor anmodningen aldrig nåede serveren. Da disse anmodninger aldrig nåede serveren, vises disse anmodninger ikke i dine logs.
• Timeout for side: Sideanmodningen fik timeout.
• Omdirigeringsfejl: En omdirigeringsfejl ved anmodning, f.eks. for mange omdirigeringer, tom omdirigering eller cirkulær omdirigering.
• Anden fejl: Anden fejl, som ikke passer i nogen af kategorierne ovenfor.

Crawlede filtyper

Den filtype, der blev returneret af anmodningen. Procentværdien for hver type er procentdelen af svar for den pågældende type, ikke procentdelen af bytes, der er hentet af den pågældende type.

Mulige filtypeværdier:

• HTML
• Billede
• Video – et af de understøttede videoformater.
• JavaScript
• CSS
• PDF
• Anden XML – en XML-fil, der ikke omfatter RSS, KML eller andre formater, som er bygget oven på XML.
• JSON
• Syndikering – et RSS- eller Atom-feed
• Lyd
• Geografiske data – KML eller andre geografiske data.
• Anden filtype – En anden filtype, som ikke er angivet her. Omdirigeringer medtages i denne gruppering.
• Ukendt (mislykkedes) – Hvis anmodningen mislykkes, kendes filtypen ikke.

Kig efter følgende

Hvis du oplever problemer med tilgængeligheden eller langsomme svartider, kan du tjekke denne tabel for at få et indblik i, hvilke typer ressourcer Google crawler, og hvorfor det kan gøre crawlprocessen langsommere. Anmoder Google om mange små billeder, der bør blokeres? Anmoder Google om ressourcer, der hostes på et andet og ikke lige så responsivt website? Klik på forskellige filtyper for at se et diagram over gennemsnitlig svartid efter dato og antal anmodninger efter dato for at se, om udsving i langsomme svar af denne type svarer til udsving i generel langsomhed eller utilgængelighed.

Crawlformål

• Registrering: Den webadresse, der blev anmodet om, er aldrig blevet crawlet af Google før.
• Opdatering: En ny crawl af en kendt side.

Hvis du har sider, der ændrer sig hurtigt, og som ikke crawles igen ofte nok, skal du sikre dig, at de er inkluderet i et sitemap. På sider, der opdateres mindre hyppigt, skal du muligvis anmode om en ny crawl. Hvis du for nylig har tilføjet en masse nyt indhold eller indsendt et sitemap, bør du kunne se en stigning i antallet af registreringscrawls på dit website.

Googlebot-type

Den type brugeragent, der blev brugt til at foretage crawlanmodningen. Google har en række brugeragenter, der crawler med forskellige formål og har forskellig adfærd.

Mulige værdier for Googlebot-type:

• Smartphone: Googlebot til smartphone
• Computer: Googlebot til computer
• Billede: Googlebot-billede. Hvis billedet indlæses som en sideressource, tælles Googlebot-typen som Indlæsning af sideressourcer og ikke som Billede.
• Video:: Googlebot Video. Hvis videoen indlæses som en sideressource, tælles Googlebot-typen som Indlæsning af sideressourcer og ikke som Video.
• Indlæsning af sideressourcer: En sekundær hentning til ressourcer, der bruges af din side. Når din side crawles, henter Google vigtige tilknyttede ressourcer, f.eks. billeder eller CSS-filer, for at gengive siden, før Google forsøger at indeksere den. Dette er den brugeragent, der foretager disse ressourceanmodninger.
• AdsBot: En af AdsBots crawlere. Hvis du ser et udsving i disse anmodninger, har du sandsynligvis for nylig oprettet en række nye mål for dynamiske søgeannoncer på dit website. Se Hvorfor steg min crawlhastighed pludseligt?. AdsBot crawler webadresser ca. hver anden uge.
• StoreBot: Produktets shoppingcrawler.
• Anden agenttype: En anden Google-crawler, som ikke er specificeret her.

Hvis du har udsving i dine crawls, skal du tjekke brugeragenttypen. Hvis udsvingene ser ud til at være forårsaget af AdsBot-crawleren, kan du se Hvorfor steg min crawlhastighed pludseligt?.

Fejlfinding

Crawlhastigheden er for høj

Googlebot har algoritmer, der forhindrer overbelastning af dit website under crawlprocessen. Hvis du af en eller anden grund er nødt til at begrænse crawlhastigheden, kan du se, hvordan du gør det, her.

Hvorfor steg min crawlhastighed pludseligt?

Hvis du lægger en masse nye oplysninger ud eller har nogle meget nyttige oplysninger på dit website, bliver det muligvis gennemgået lidt oftere, end du ønsker. Det kan f.eks. være, hvis:

• Du har fjernet blokeringen af en stor sektion på dit website, så den kan crawles
• Du har tilføjet en stor ny sektion på dit website
• Du har tilføjet et stort antal nye mål for dynamiske søgeannoncer ved at tilføje nye sidefeeds eller URL_Equals-regler

Hvis dit website crawles så meget, at der opstår problemer med websitets tilgængelighed, kan du beskytte det på følgende måde:

1. Find ud af, hvilken Google-crawler der crawler dit website på en for omfattende måde. Se på dine websitelogs, eller brug rapporten om crawlstatistik.
2. Øjeblikkelig afhjælpning:
   • Hvis du vil have en enkel løsning, kan du bruge robots.txt til at blokere crawling for den agent (Googlebot, AdsBot osv.), der overbelaster dit website. Det kan dog tage op til en dag, før dette træder i kraft. Undgå at blokere for længe, da det kan påvirke crawlingen af dit website på længere sigt.
   • Hvis du har mulighed for at registrere og reagere på den øgede belastning dynamisk, kan du returnere HTTP 503/429, når du nærmer dig din visningsgrænse. Sørg dog for, at du ikke returnerer 503 eller 429 i mere end to eller tre dage. Ellers kan det også tolkes som et signal til Google om, at dit website ikke skal crawles så hyppigt på lang sigt.
3. To eller tre dage senere, når Googles crawlhastighed har ændret sig, kan du fjerne dine robots.txt-blokeringer eller stoppe returneringen af 503- eller 429-fejlkoder.
4. Hvis du oplever en overbelastning af AdsBot-crawl, skyldes problemet sandsynligvis, at du har oprettet for mange mål for dynamiske søgeannoncer på dit website med URL_Equals eller sidefeeds. Hvis du ikke har serverkapaciteten til at håndtere disse crawls, skal du enten begrænse dine annoncemål, tilføje webadresser i mindre grupper eller øge visningskapaciteten. Bemærk, at AdsBot crawler dine sider hver 2. uge, så du er nødt til at løse problemet, ellers vil det gentage sig.

Crawlhastigheden lader til at være for lav

Du kan ikke bede Google om at øge din crawlhastighed. Du kan dog få flere oplysninger om, hvordan du administrerer crawl for meget store eller ofte opdaterede websites.

Hvis du har et lille eller mellemstort website, og hvis du konstaterer, at Google ikke crawler hele dit website, kan du prøve at opdatere websitets sitemaps og tjekke, at du ikke har blokeret nogen sider.

Hvorfor steg min gennemgangshastighed pludseligt?

Generelt bør din Google-crawlhastighed være relativt stabil over en periode på en uge eller to. Hvis du ser et pludseligt fald, kan følgende være mulige årsager:

• Du har tilføjet en ny (eller meget bred) regel i robots.txt. Sørg for, at du kun blokerer de ressourcer, du skal. Hvis Google har brug for særlige ressourcer som CSS eller JavaScript for at forstå indholdet, skal du sørge for, at du ikke blokerer dem fra Googlebot.
• Hvis dit website reagerer langsomt på anmodninger, dæmper Googlebot hastigheden på sine anmodninger for ikke at overbelaste din server. Tjek rapporten om crawlstatistik for at se, om dit website har reageret langsommere.
• Hvis antallet af serverfejl stiger, skærer Googlebot ned på antallet af sine anmodninger, så din server ikke overbelastes.
• Hvis et website indeholder oplysninger, der sjældent ændres eller ikke er af særlig høj kvalitet, gennemgår vi det muligvis ikke så ofte. Se på dit website med friske øjne, få neutral feedback fra nogen, der ikke har noget med dit website at gøre, og overvej, hvordan eller hvor dit website kunne forbedres generelt.

De samlede antal crawls i rapporten er meget højere end de samlede antal i serverlogs for dit website

Hvis det samlede antal crawls, der vises i denne rapport, er meget højere end antallet af Google-crawlanmodninger i dine serverlogs, kan det skyldes, at Google ikke kan crawle dit website, fordi din robots.txt-fil ikke er tilstrækkeligt tilgængelig. Hvis dette er tilfældet, medregner Google de crawls, som Google ville have foretaget, hvis din robots.txt-fil var tilgængelig. Disse crawls foretages dog ikke. Tjek din status for hentning af robots.txt for at bekræfte, om dette er årsagen.