Googlebot

Googlebot är det övergripande namnet på Googles sökrobot. Det finns två sökrobotar som båda kallas Googlebot: en sökrobot för stationära datorer, som efterliknar en datoranvändare, och en sökrobot för mobilwebben, som efterliknar en mobilanvändare.

Din webbplats genomsöks sannolikt av både Googlebot för datorer och Googlebot för smartphones. Du kan identifiera de olika Googlebot-versionerna utifrån användaragentsträngen i begäran. Däremot gäller samma produkttoken (användaragenttoken) för båda robotvarianterna i robots.txt. Därför går det inte att skriva regler som skiljer mellan Googlebot för mobiler och Googlebot för datorer i robots.txt.

Om webbplatsen har övergått till indexering av mobilversionen i första hand på Google är det Googlebot för mobiler som står för de flesta av genomsökningarna medan en mindre andel görs av Googlebot för datorer. Om mobilversionen inte prioriteras ännu är det sökroboten för datorer som står för de flesta av genomsökningarna. I båda fallen gäller att inga nya adresser genomsöks av den sökrobot som besöker webbplatsen mindre ofta. Den underordnade sökroboten besöker enbart sådana webbadresser som den dominerande sökroboten redan har genomsökt.

 

Hur Googlebot besöker din webbplats

Googlebot genomsöker de flesta webbplatser med i genomsnitt några sekunders intervall. På grund av fördröjningar kan det se ut som om webbplatsen genomsöks oftare under vissa perioder.

Googlebot har utvecklats för att köras på tusentals datorer samtidigt vilket förbättrar prestanda och ökar skalbarheten när webben växer. Bandbreddsutnyttjandet minskas också genom att vi kör många sökrobotar på datorer som finns nära de webbplatser som ska genomsökas. Därför kan dina loggar visa besök från flera datorer på google.com som alla har Googlebot som användaragent. Vårt mål är att genomsöka så många sidor från din webbplats vi kan vid varje besök utan att ta upp för mycket av din servers bandbredd. Om din webbplats blir för hårt belastad av Googles genomsökningar kan du begära en ändring av genomsökningsfrekvensen.

Blockera Googlebot från att besöka webbplatsen

Det är nästan omöjligt att hålla en webbserver hemlig genom att inte publicera länkar till den. Så fort någon till exempel följer en länk från din ”hemliga” server till en annan webbserver kan den ”hemliga” webbadressen registreras som hänvisningsadress, varpå den kan sparas och publiceras i den andra webbserverns logg över hänvisningsadresser. På liknande sätt finns många inaktuella och defekta länkar på webben. Varje gång någon publicerar en felaktig länk till din webbplats, eller inte uppdaterar länkarna när något ändras på din server, försöker Googlebot genomsöka en felaktig länk på din webbplats.

Om du vill hindra Googlebot från att genomsöka innehåll på din webbplats har du ett antal alternativ. Var medveten om skillnaden mellan att hindra Googlebot från att genomsöka en sida, hindra Googlebot från att indexera en sida och hindra såväl sökrobotar som användare från att nå en sida överhuvudtaget.

Verifiera Googlebot

Innan du blockerar Googlebot bör du vara medveten om att användaragentsträngen som Googlebot använder ofta förfalskas av andra sökrobotar. Det är viktigt att kontrollera att en olämplig begäran faktiskt kommer från Google. Det bästa sättet att verifiera att en begäran verkligen kommer från Googlebot är att göra en omvänd DNS-uppslagning av källans IP-adress.

Googlebot och andra seriösa sökrobotar respekterar direktiven i robots.txt, men det finns en del skumma typer och skräppostsspridare som inte gör det. Google ingriper aktivt mot spammare. Om du hittar sidor eller webbplatser med skräp i Googles sökresultat kan du rapportera spam till Google.

 

Var det här till hjälp?
Hur kan vi förbättra den?