Rapporten Genomsökningsstatistik visar statistik om Googles genomsökningshistorik på din webbplats. Statistiken visar bland annat hur många förfrågningar som gjorts och när, serverns svar och eventuella problem med tillgången till webbplatsen. Du kan använda rapporten för att ta reda på om Google har stött på problem vid genomsökningen av webbplatsen.
Rapporten är avsedd för avancerade användare. Om du har en webbplats med färre än tusen sidor behöver du förmodligen inte använda den här rapporten eller följa genomsökningen så här pass detaljerat.
Öppna rapporten Genomsökningsstatistik
C<span/>rawl Budget and the Crawl Stats report - Google Search Console Training
(Egendomsinställningar) > Genomsökningsstatistik.Komma igång
Du bör känna till följande innan du använder den här rapporten:
- Så fungerar Google Sök
- Ämnen för avancerade användare, i synnerhet avsnitten om genomsökning, indexering och webbplatskartor.
- Olika ämnen om hur du hanterar åtkomsten till din webbplats, inklusive blockering med robots.txt.
- Om du har en stor webbplats (hundratusentals sidor) kan du läsa om hur du hanterar och felsöker genomsökningsbudgeten i den här guiden.
Om data
- Alla webbadresser som redovisas och räknas är sådana som Google faktiskt har begärt. Ingen data tillskrivs kanoniska webbadresser, som i vissa andra rapporter.
- Om en webbadress omdirigeras på serversidan räknas varje begäran i omdirigeringskedjan för sig. Om Google begär sida1, och sida1 omdirigeras till sida2 som omdirigeras till sida3, visas alltså separata förfrågningar för sida1 (som returnerar 301/302), sida2 (som returnerar 301/302) och sida3 (som förhoppningsvis returnerar 200). Observera att bara sidor på den valda domänen visas. Ett omdirigeringssvar har filtypen Annan filtyp. Omdirigeringar på klientsidan räknas inte.
- Genomsökningar som övervägts men inte gjorts på grund av att robots.txt inte var tillgängligt räknas i totalsumman för genomsökningar, men rapporten kan ha begränsad information om försöken. Mer information
- Resurser och omfattning:
- All data begränsas till den domän som är vald just nu. Förfrågningar till andra domäner visas inte. Det gäller även förfrågningar om sidresurser (t.ex. bilder) som finns på en värd utanför egendomen. Anta till exempel att bilden google.com/img.png finns på sidan example.com/minsida. Begäran om google.com/img.png visas då inte i rapporten Genomsökningsstatistik för egendomen example.com.
- På liknande sätt visas inga förfrågningar till en syskondomän (som sv.example vid sidan av de.example). I rapporten Genomsökningsstatistik för sv.example visas alltså inga förfrågningar om bilder som finns på de.example.
- Däremot kan förfrågningar mellan underdomäner ses från den överordnade domänen. Om du till exempel tittar på data för example.com visas alla förfrågningar till example.com, sv.example, de.example.com och alla andra underordnade domäner som finns under example.com.
- Omvänt gäller att om egendomens resurser används av en sida på en annan domän kan genomsökningsförfrågningar för värdsidan visas, men det finns ingenting som visar att resursen genomsöktes därför att den används av en sida på en annan domän (du ser med andra ord inte att bilden example.com/imageX.png genomsöktes därför att den används på sidan anotherexample.com/minsida).
- Både http och https finns med i genomsökningsstatistiken, även för egendomar med webbadressprefix. Det innebär att både förfrågningar till http://example.com och till https://example.com finns med i rapporten Genomsökningsstatistik för http://example.com. Däremot visas bara adresser med det protokoll som definierats för egendomen (http eller https) som exempeladresser på egendomar med webbadressprefix.
Navigera i rapporten
Rapporten visar följande information om genomsökningen av din webbplats:
Om du klickar på en tabellpost visas mer information om den, bland annat en lista med exempeladresser. Klicka på en webbadress om du vill veta mer om just den genomsökningsbegäran. Om du till exempel klickar på raden HTML i tabellen med svar grupperade efter typ visas sammanställd information om alla HTML-sidor som genomsökts på webbplatsen, med uppgifter som genomsökningstid, svarskod, svarets storlek med mera för ett urval av dessa webbadresser.
Värdar och underordnade domäner
Om du har en egendom på domännivå (example.com, http://example.com, https://m.example.com) med minst två underordnade domäner (t.ex. fr.example.com och de.example.com) kan du ställa in den överordnade domänen som omfattning, med alla underordnade domäner, eller enbart en av de underordnade domänerna.
Du öppnar rapporten för en enskild underordnad domän genom att klicka på den under Värdar på den överordnade domänens målsida. Endast de 20 populäraste underordnade domänerna som har fått trafik under de senaste 90 dagarna visas.
Exempel på webbadresser
Om du klickar på en av de grupperade datatyperna (svar, filtyp, syfte, Googlebot-typ) visas en lista med exempel på webbadresser av den typen.
Listan med exempeladresser är inte fullständig utan bara ett representativt urval. Om en webbadress saknas i listan betyder inte det att vi aldrig har begärt den. Antalet exempel kan vara viktat per dag. Därför kan det finnas fler exempel på vissa slags förfrågningar än andra. Detta bör jämna ut sig med tiden.
Totalt antal förfrågningar om genomsökning
Totalt antal förfrågningar om genomsökning av webbadresser på webbplatsen, oavsett om de lyckades eller inte. Innehåller förfrågningar om resurser som används på sidan, om de resurserna finns på din webbplats. Förfrågningar om resurser utanför webbplatsen räknas inte. Dubblettförfrågningar om samma webbadress räknas var för sig. Om robots.txt-filen inte är tillräckligt tillgänglig räknas potentiella hämtningar.
Misslyckade förfrågningar som räknas inkluderar följande:
- Hämtningar som aldrig gjordes eftersom robots.txt-filen inte var tillräckligt tillgänglig.
- Hämtningar som misslyckades på grund av problem med DNS-upplösning
- Hämtningar som misslyckades på grund av serveranslutningsproblem
- Hämtningar avbröts på grund av omdirigeringsloopar
Total nedladdningsstorlek
Totalt antal byte som laddats ned från webbplatsen vid genomsökning under den angivna tidsperioden. Om Google har cachelagrat en sidresurs som används på flera sidor begärs den resursen bara en gång (första gången, när den cachelagrades).
Genomsnittlig svarstid
Genomsnittlig svarstid för alla resurser som hämtats från webbplatsen under den angivna tidsperioden. Varje resurs som länkas från en sida räknas som ett separat svar.
Värdstatus
Värdstatusen anger om Google stötte på problem med tillgången till webbplatsen när den skulle genomsökas. Statusen kan vara en av följande:
Google stötte inte på några betydande tillgänglighetsproblem på webbplatsen under de senaste 90 dagarna. Bra jobbat! Det finns inget mer att göra här.
Google upptäckte minst ett betydande tillgänglighetsproblem på webbplatsen under de senaste 90 dagarna, men det inträffade för mer än en vecka sedan. Det kan ha rört sig om ett tillfälligt problem, eller så kan problemet vara löst. Du bör granska tabellen Svar för att se vad problemet var och om du behöver göra något.
Google upptäckte minst ett betydande problem med tillgången till webbplatsen under den senaste veckan. Eftersom felet uppstod nyligen bör du kolla om det är ett återkommande problem. Se efter i tabellen Svar vad problemet var och om du behöver göra något.
Värdstatusen ska helst vara grön. Om statusen är röd klickar du vidare och läser om tillgängligheten till robots.txt, DNS-upplösningen och värdanslutningen.
Information om värdstatus
Tillgänglighetsstatusen för värden bestäms utifrån följande kategorier. Ett betydande fel i någon av kategorierna kan leda till en försämring av statusen. Klicka på en kategori i rapporten som du vill läsa mer om.
För varje kategori visas ett diagram över genomsökningsdata för den aktuella tidsperioden. Diagrammet har en prickad röd linje. Om mätvärdet överstiger den prickade linjen för en viss kategori (till exempel om DNS-upplösningen misslyckas för mer än 5 % av förfrågningarna under en viss dag) betraktas det som ett problem för den aktuella kategorin och statusen speglar det senaste problemet.
- Hämtning av robots.txt
Diagrammet visar felfrekvensen för förfrågningar om robots.txt under en genomsökning. Google begär ofta den här filen, och om begäran inte returnerar en giltig fil (med eller utan innehåll) eller ett 404-fel (filen finns inte) saktar Google ned genomsökningen av webbplatsen eller stoppar den helt tills vi får ett godkänt robots.txt-svar. (Mer information finns nedan) - DNS-upplösning
Diagrammet visar när DNS-servern inte kände igen värdnamnet eller inte svarade under genomsökningen. Vid fel kan du kolla med registraren att webbplatsen har konfigurerats korrekt och att servern är ansluten till internet. - Serveranslutning
Diagrammet visar när servern inte svarade eller inte gav ett fullständigt svar för en webbadress under en genomsökning. Läs mer om hur du åtgärdar detta under Serverfel.
Här ser du en mer detaljerad beskrivning om hur Google kontrollerar (och är beroende av) robots.txt-filer när webbplatsen genomsöks.
Webbplatsen måste inte ha en robots.txt-fil, men ett godkänt svar måste returneras (enligt definitionerna nedan) när detta efterfrågas för filen. Annars kan Google sluta att genomsöka webbplatsen.
- Godkända robots.txt-svar
- Följande räknas som godkända svar:
- HTTP 200 och en robots.txt-fil (filen kan vara giltig, ogiltig eller tom). Om filen innehåller syntaxfel räknas den fortfarande som godkänd, men Google kan eventuellt ignorera regler med syntaxfel.
- HTTP 403/404/410 (filen finns inte). Webbplatsen måste inte ha en robots.txt-fil.
- Ej godkända robots.txt-svar
- HTTP 429/5XX (anslutningsproblem)
Så här begär och använder Google robots.txt-filer när en webbplats genomsöks:
- Innan Google genomsöker webbplatsen kontrollerar vi först om det finns en nyligen godkänd robots.txt-begäran (mindre än 24 timmar gammal).
- Om Google har ett godkänt robots.txt-svar som är mindre än 24 timmar gammalt använder Google den robots.txt-filen när webbplatsen genomsöks. (Kom ihåg att ett 404-svar är godkänt och innebär att det inte finns någon robots.txt-fil, vilket i sin tur innebär att Google kan genomsöka alla webbadresser på webbplatsen.)
- Om det senaste svaret inte godkändes eller är mer än 24 timmar gammalt begär Google robots.txt-filen.
- Om begäran lyckas kan genomsökningen börja.
- Om begäran inte lyckas:
- Under de första 12 timmarna slutar Google genomsöka webbplatsen, men robots.txt-filen begärs fortfarande.
- Från 12 timmar till 30 dagar använder Google den robots.txt-fil som senast hämtades samtidigt som robots.txt begärs.
- Efter 30 dagar:
- Om webbplatsens startsida är tillgänglig genomsöker Google webbplatsen utan begränsningar, som om det inte finns någon robots.txt-fil.
- Om webbplatsens startsida inte är tillgänglig slutar Google genomsöka webbplatsen.
- I båda fallen fortsätter Google att begära robots.txt-filen regelbundet.
Genomsökningssvar
Tabellen visar de svar som Google fick när webbplatsen genomsöktes, grupperade efter svarstyp och i procent av det sammanlagda antalet genomsökningssvar. Datan baseras på det sammanlagda antalet förfrågningar och inte på de begärda webbadresserna. Om Google begärde en webbadress två gånger och fick Serverfel (500) första gången och OK (200) andra gången blir svaret 50 % Serverfel och 50 % OK.
Det här är några vanliga svarskoder och hur du hanterar dem:
Svar som betyder att allt är i sin ordning
De här sidorna fungerar väl och orsakar inga problem.
- OK (200): I normala fall bör de flesta svaren vara av denna typ.
- Flyttad permanent (301): Sidan returnerar ett HTTP 301 eller 308-svar (permanent flyttad). Detta är förmodligen det avsedda svaret.
- Tillfälligt flyttad (302): Sidan returnerar ett HTTP 302- eller 307-svar (tillfälligt flyttad). Detta är förmodligen det avsedda svaret. Om sidan har flyttats permanent ändrar du svaret till 301.
- Flyttad (andra svar): En meta refresh.
- Inte ändrad (304): Sidan har inte ändrats sedan den senaste genomsökningen.
Svar som betyder att allt kan vara i sin ordning
De här svaren kan vara i sin ordning, men du kan kontrollera att det verkligen är det avsedda svaret.
- Felet Hittades inte (404) kan bero på brutna länkar på eller utanför webbplatsen. Det är varken möjligt, värt mödan eller önskvärt att åtgärda alla 404-fel på webbplatsen, och oftast är det korrekt att returnera 404-fel (till exempel om sidan faktiskt har försvunnit utan någon ersättning). Läs mer om hur du åtgärdar 404-fel.
Svar som betyder att allt inte är i sin ordning
Du bör åtgärda sidor som returnerar dessa fel för att förbättra genomsökningen.
- robots.txt är inte tillgänglig: Om robots.txt-filen inte är tillgänglig under ett dygn stoppar Google tillfälligt genomsökningen av webbplatsen tills vi fått ett godkänt svar på en robots.txt-begäran. Dölj inte robots.txt-filen för Google och använd inte olika robots.txt-sidor för olika användaragenter.
Detta är inte samma sak som att returnera felet Hittades inte (404) för en robots.txt-fil, vilket är ett godkänt svar. Läs mer om robots.txt. - Obehörig (401/407): Du bör antingen blockera dessa sidor med robots.txt så att de inte genomsöks eller göra dem tillgängliga om så är lämpligt. Om sidorna inte innehåller data som ska vara skyddad och du vill att de ska genomsökas kan du flytta informationen till sidor som inte är skyddade eller ge Googlebot åtkomst till dem utan inloggning (observera dock att det går att förfalska Googlebot, så om du ger Googlebot fri åtkomst har du i praktiken tagit bort skyddet från sidan).
- Serverfel (5XX): Dessa fel orsakar tillgänglighetsvarningar och bör om möjligt åtgärdas. Miniatyrdiagrammet visar ungefär när dessa fel inträffade. Klicka för mer information och exakta tider. Ta ställning till om det rör sig om tillfälliga problem eller tyder på underliggande fel som förhindrar tillgång till webbplatsen. Om genomsökningshastigheten på webbplatsen är för hög kan du begära sänkt genomsökningshastighet. Om detta tyder på ett allvarligt problem med tillgången till webbplatsen kan du läsa mer om överbelastningstoppar vid genomsökningen. Läs mer om hur du åtgärdar detta under Serverfel.
- Annat klientfel (4XX): Ett 4XX-fel (på klientsidan) som inte anges här. Bästa sättet att lösa dessa problem.
- DNS svarar inte: DNS-servern svarade inte på förfrågningar om webbadresser på webbplatsen.
- DNS-fel: Ett annat, ospecificerat DNS-fel.
- Hämtningsfel: Det gick inte att hämta sidan på grund av ett felaktigt portnummer, en felaktig IP-adress eller ett svar som inte gick att tolka.
- Det gick inte att nå sidan: Annat fel när sidan skulle hämtas och begäran aldrig nådde servern. Eftersom dessa förfrågningar aldrig har nått servern visas de inte heller i dina loggar.
- Tidsgräns för sida: Tidsgränsen för sidan har nåtts.
- Omdirigeringsfel: Ett fel som uppstår vid en begäran om omdirigering, till exempel för många omdirigeringar, en tom omdirigering eller en cirkulär omdirigering.
- Annat fel: Ett annat fel som inte passar in i någon av kategorierna ovan.
Typer av genomsökta filer
Filtypen som returnerats av begäran. Procentvärdet avser andelen svar av den typen och inte andelen byte av den typen som har hämtats.
Möjliga filtypsvärden:
- HTML
- Bild
- Video – ett av de videoformat som stöds
- JavaScript
- CSS
- Annan XML-fil – en XML-fil som inte innehåller RSS, KML eller något annat format som bygger på XML
- JSON
- Syndikering – ett RSS- eller Atom-flöde
- Ljud
- Geografisk data – KML eller annan geografisk data
- Annan filtyp – en annan filtyp som inte anges här Omdirigeringar ingår i den här grupperingen.
- Okänd (misslyckades) – om begäran misslyckas är filtypen inte känd
Genomsökningens syfte
- Förslag: Den begärda webbadressen har aldrig genomsökts av Google tidigare.
- Uppdatering: En ny genomsökning av en känd sida.
Om du har sidor som ofta ändras och som inte genomsöks tillräckligt ofta måste du se till att de finns med i en webbplatskarta. För sidor som uppdateras mer sällan kan du behöva be om en ny genomsökning. Om du nyligen har lagt till mycket nytt innehåll eller skickat in en webbplatskarta ser du förmodligen en ökning av genomsökningar för att upptäcka nya sidor på webbplatsen.
Typ av Googlebot
Typen av användaragent som användes för att skicka en begäran om genomsökning. Google har ett antal användaragenter som utför genomsökningar av olika skäl och fungerar på olika sätt.
Möjliga typvärden för Googlebot:
- Smartphone: Googlebot för smartphones.
- Desktop: Googlebot för datorer.
- Image: Googlebot för bilder. Om bilden läses in som en sidresurs räknas Googlebot-typen som sidresursinläsning och inte som bild.
- Video: Googlebot för video. Om videon läses in som en sidresurs räknas Googlebot-typen som sidresursinläsning och inte som video.
- Sidresursinläsning: en sekundär hämtning av resurser som används av sidan. Under genomsökningen hämtar Google viktiga resurser som bilder eller CSS-filer för att rendera sidan innan den indexeras. Det här är användaragenten som gör dessa resursförfrågningar.
- AdsBot: en av AdsBot-sökrobotarna. Om du ser en ökning av dessa förfrågningar är det troligt att du nyligen har skapat ett antal nya mål för dynamiska sökannonser på webbplatsen. Läs under Varför ökade genomsökningshastigheten kraftigt? nedan. AdsBot genomsöker webbadresser ungefär varannan vecka.
- StoreBot: sökroboten för shoppingprodukter.
- Annan agenttyp: en annan Google-sökrobot som inte anges här.
Om genomsökningarna ökar kraftigt kontrollerar du användaragenttypen. Om ökningarna verkar bero på AdsBot-sökroboten läser du Varför ökade min genomsökningshastighet kraftigt?.
Felsökning
Genomsökningshastigheten är för hög
Googlebot har algoritmer som ska förhindra att webbplatsen överbelastas vid genomsökningen. Om du av någon anledning måste begränsa genomsökningshastigheten läser du om hur du gör det här.
Varför ökade genomsökningshastigheten kraftigt?
Om du har lagt till mycket ny information eller har väldigt bra innehåll på din webbplats kanske den genomsöks oftare än du skulle vilja. Det kan till exempel hända om
- du har avblockerat en stor del av webbplatsen för genomsökning
- du har lagt till ett stort nytt avsnitt på webbplatsen
- du har lagt till ett stort antal nya mål för dynamiska sökannonser i form av nya sidflöden eller URL_Equals-regler.
Om din webbplats genomsöks i en så stor utsträckning att webbplatsen har tillgänglighetsproblem skyddar du den så här:
- Ta reda på vilken Google-sökrobot som överbelastar webbplatsen med genomsökningar. Gå igenom webbplatsloggarna eller använd rapporten Genomsökningsstatistik.
- Omedelbar åtgärd:
- Om du vill ha en enkel lösning blockerar du genomsökningar gjorda av den agent som överbelastar servern (googlebot, adsbot osv.) med robots.txt. Tänk dock på att det kan ta upp till ett dygn innan en sådan uppdatering träder i kraft. Blockera inte agenten för länge eftersom det kan påverka genomsökningen på lång sikt.
- Om du har möjlighet att låta servern känna av och reagera på ökad belastning dynamiskt returnerar du HTTP 503/429 när du närmar dig gränsen. Tänk dock på att inte returnera 503 eller 429 i mer än två eller tre dagar. I annat fall kan det signalera till Google att genomsöka webbplatsen mer sällan på lång sikt.
- När Googles genomsökningshastighet har anpassat sig två eller tre dagar senare kan du ta bort robots.txt-blockeringar eller sluta returnera felkoden 503 eller 429.
- Om genomsökningar av AdsBot överbelastar servern är det troligt att du har skapat för många mål för dynamiska sökannonser på webbplatsen med
URL_Equalseller sidflöden. Om du inte har serverkapacitet nog för dessa genomsökningar bör du använda färre annonsmål, lägga till färre webbadresser i taget eller skaffa större serverkapacitet. Observera att AdsBot genomsöker sidorna varannan vecka, så om du inte åtgärdar problemet kommer det att hända igen.
Genomsökningshastigheten verkar vara för låg
Du kan inte be Google att höja genomsökningshastigheten. Däremot kan du läsa mer om hur du hanterar genomsökningen för webbplatser som är väldigt stora eller som uppdateras ofta.
Om du har en liten eller medelstor webbplats och märker att Google inte genomsöker hela webbplatsen kan du testa att uppdatera webbplatsens webbplatskartor och försäkra dig om att du inte blockerar några sidor.
Varför minskade min genomsökningshastighet?
Googles genomsökningshastighet för din webbplats bör vara relativt stabil över en vecka eller två. Om värdet faller plötsligt kan det bero på olika saker, till exempel:
- Du har lagt till en ny (eller mycket bred) regel i din robots.txt-fil. Kontrollera att du bara blockerar resurser som behöver blockeras. Om Google behöver åtkomst till specifika resurser som CSS eller JavaScript för att förstå innehållet får de inte vara blockerade för Googlebot.
- Om din webbplats svarar långsamt minskar Googlebot antalet förfrågningar för att inte överbelasta servern. I rapporten Genomsökningsstatistik kan du se om webbplatsen har svarat långsammare.
- Om serverns felfrekvens ökar, minskar Googlebot antalet förfrågningar för att inte överbelasta din server.
- Om det finns information på webbplatsen som ändras mindre ofta, eller som inte har så hög kvalitet, kanske vi inte genomsöker den lika ofta. Granska din webbplats objektivt, få neutral feedback från personer som inte är kopplade till webbplatsen och tänk efter på vilket sätt som webbplatsen skulle kunna förbättras överlag.
Totalsumman i rapporten för genomsökningar är mycket högre än totalsumman i webbplatsens serverloggar
Om det totala antalet genomsökningar är mycket högre än Googles genomsökningsförfrågningar i dina loggar kan det bero på att Google inte kan genomsöka webbplatsen eftersom robots.txt-filen inte är tillgänglig under för lång tid. I sådana fall räknar Google genomsökningar som skulle kunna ha gjorts om robots.txt-filen var tillgänglig men gör inte anropen. Kontrollera hämtningsstatusen för robots.txt för att ta reda på om detta problem har uppstått.
