​robots.txt-rapport

Se om Google kan bearbeta dina robots.txt-filer

I robots.txt-rapporten visas vilka robots.txt-filer som Google hittade för de 20 främsta värdarna på webbplatsen när de senast genomsöktes och eventuella varningar eller fel som påträffades. Med hjälp av rapporten kan du även begära en ny genomsökning av en robots.txt-fil i nödsituationer.

En robots.txt-fil används för att förhindra att sökmotorer genomsöker din webbplats. Använd noindex om du vill förhindra att innehåll visas i sökresultaten.

Rapporten är endast tillgänglig för egendomar på domännivå. Det innebär antingen

  • en domänegendom (till exempel example.com eller m.example.com)
  • en egendom med webbadressprefix utan sökväg, till exempel https://example.com/, men inte https://example.com/sökväg/.

Öppna robots.txt-rapporten

 

Se dina robots.txt-filer och status för genomsökning

För en domänegendom innehåller rapporten robots.txt-filer från de 20 främsta värdarna i egendomen i fråga.

För varje robots.txt-fil som kontrolleras av Search Console kan du se följande information:

  • Filsökväg: Den fullständiga webbadress där Google kontrollerade att det fanns en robots.txt-fil. En webbadress visas bara i rapporten om den har haft statusen Hämtad eller Inte hämtad någon gång under de senaste 30 dagarna. Se Plats för robots.txt-filer.
  • Hämtningsstatus: Statusen för den senaste hämtningsbegäran för filen. Följande värden finns:
    • Inte hämtad: Hittades inte (404): Ett 404-fel (filen finns inte) uppstod när filen begärdes. Om du har lagt upp en robots.txt-fil på den angivna webbadressen men ser det här felet kan du testa att granska webbadressen och se om det finns några tillgänglighetsproblem. En fil som har statusen Hittades inte (404) i 30 dagar visas inte längre i rapporten (men Google fortsätter att kontrollera den i bakgrunden). Det är okej om det inte finns något robots.txt-fel. Det innebär att Google kan genomsöka alla webbadresser på webbplatsen. Läs dock om hur Google beter sig när det finns något robots.txt-fel.
    • Inte hämtad: Någon annan orsak: Ett annat problem uppstod när filen begärdes. Se listan över indexeringsproblem.
    • Hämtad: Det senaste genomsökningsförsöket returnerade en robots.txt-fil. Om problem hittas när du analyserar filen visas de i kolumnen Problem. Google ignorerar rader med problem och använder dem som går att analysera.
  • Kontrollerad: När Google senast försökte genomsöka webbadressen, i lokal tid.
  • Storlek: Storleken på den hämtade filen, i byte. Om det senaste hämtningsförsöket misslyckades är fältet tomt.
  • Problem: I tabellen visas antalet analysproblem i filen när den senast hämtades. Fel förhindrar att en regel används. Varningar förhindrar inte att en regel används. Läs mer om hur Google beter sig när det finns ett robots.txt-fel. Du kan åtgärda analysproblemen med en validerare för robots.txt.

Se den senast hämtade versionen

Du kan se den senast hämtade versionen av en robots.txt-fil genom att klicka på den i fillistan i rapporten. Om robots.txt-filen innehåller fel eller varningar markeras de i filinnehållet. Du kan bläddra igenom felen och varningarna med piltangenterna.

Se tidigare hämtade versioner

Om du vill se hämtningsbegäranden för en viss robots.txt-fil under de senaste 30 dagarna kan du klicka på filen i fillistan i rapporten och sedan på Versioner. Klicka på en version för att se filinnehållet för den. En begäran tas bara med i historiken om den hämtade filen eller hämtningsresultatet skiljer sig från föregående filhämtningsbegäran.

Om Google påträffade ett hämtningsfel vid det senaste hämtningsförsöket använder Google den senast hämtade versionen utan fel i upp till 30 dagar.

Begär en ny genomsökning

Du kan begära en ny genomsökning av en robots.txt-fil när du har åtgärdat ett fel eller gör en viktig ändring.

När ska du begära en ny genomsökning?

Du behöver oftast inte begära en ny genomsökning av en robots.txt-fil eftersom Google genomsöker robots.txt-filerna ofta. I följande fall kan du dock begära en ny genomsökning av robots.txt:

  • Du har ändrat reglerna i robots.txt för att avblockera viktiga webbadresser och vill meddela Google snabbt (observera att detta inte garanterar en omedelbar genomsökning av avblockerade webbadresser).
  • Du har åtgärdat ett hämtningsfel eller annat allvarligt fel.

Så här begär du en ny genomsökning

Om du vill begära en ny genomsökning ska du välja ikonen för fler inställningar bredvid en fil i listan över robots.txt-filer och klicka på Begär en ny genomsökning.

Webbplatser på webbhotell

Om din webbplats finns på ett webbhotell kanske det inte är enkelt att redigera robots.txt-filen. Läs i så fall webbhotellets dokumentation om hur du blockerar specifika sidor från att genomsökas eller indexeras av Google. (Observera att de flesta användare vill förhindra att filer visas på Google Sök snarare än att de genomsöks av Google. Om det är det här du vill göra kan du söka efter information om hur du blockerar sidor från sökmotorer hos webbhotellet.)

Vad händer när Google inte kan hämta eller läsa robots.txt?

Om det inte går att hitta någon robots.txt-fil på en domän eller underdomän antar Google att den kan genomsöka alla webbadresser från den värden.

Om Google hittar en robots.txt-fil men inte kan hämta den gör Google så här:

  1. Under de första 12 timmarna slutar Google att genomsöka webbplatsen men fortsätter att försöka hämta robots.txt-filen.
  2. Om Google inte kan hämta en ny version använder Google den senaste fungerande versionen under de kommande 30 dagarna och försöker samtidigt hämta en ny version. Du kan se den senaste fungerande versionen i versionshistoriken.
  3. Om felen inte har åtgärdats efter 30 dagar:
    • Om webbplatsen är allmänt tillgänglig för Google beter sig Google som om det inte finns någon robots.txt-fil (men fortsätter att söka efter en ny version).
    • Om webbplatsen har allmänna tillgänglighetsproblem slutar Google att genomsöka webbplatsen och fortsätter samtidigt att regelbundet begära en robots.txt-fil.

Om Google hittar och kan hämta en robots.txt-fil: Google läser filen rad för rad. Om det finns ett fel på en rad eller om den inte går att analysera som en robots.txt-regel hoppas den över. Om det inte finns några giltiga rader i filen behandlar Google den som en tom robots.txt-fil, vilket innebär att det inte finns några deklarerade regler för webbplatsen.

Var robots.txt-filer finns

Terminologi:

  • Ett protokoll (kallas även schema) är antingen HTTP eller HTTPS.
  • En värd är allt i webbadressen efter protokollet (http:// eller https://) fram till sökvägen. Värden m.de.example.com anger alltså tre möjliga värdar: m.de.example.com, de.example.com och example.com, som var och en kan ha sin egen robots.txt-fil.
  • Ett ursprung är protokollet i kombination med värden. Exempel: https://example.com/ eller https://m.example.co.es/

Enligt RFC 9309 måste robots.txt-filen finnas på rotnivå för varje kombination av protokoll och värd för webbplatsen.

För en domänegendom:

  1. Search Console väljer de 20 främsta värdarna, sorterade efter genomsökningshastighet. För varje domän kan rapporten visa upp till två ursprung, vilket innebär att tabellen kan visa upp till 40 rader. Om du inte hittar webbadressen till robots.txt för en av dina värdar kan du skapa en domänegendom för underdomänen som saknas.
  2. Search Console kontrollerar två webbadresser för varje värd:
    • http://<värd>/robots.txt
    • https://<värd>/robots.txt
  3. Om robots.txt-filen på den begärda webbadressen rapporteras som Hittades inte under 30 dagar visar Search Console inte webbadressen i rapporten, men Google fortsätter att kontrollera webbadressen i bakgrunden. För alla andra resultat visas den kontrollerade webbadressen i rapporten.

För en egendom med webbadressprefix på värdnivå (till exempel https://example.com/) kontrollerar Search Console bara ett ursprung för egendomen. Det innebär att Search Console bara kontrollerar https://example.com/robots.txt för egendomen https://example.com och inte http://example.com/robots.txt eller https://m.example.com/robots.txt.

Vanliga uppgifter

Visa en robots.txt-fil

Du kan öppna en robots.txt-fil som finns med i rapporten genom att klicka på filen i listan med robots.txt-filer. Klicka på Öppna den publicerade robots.txt-filen för att öppna filen i webbläsaren.

Du kan öppna valfri robots.txt-fil på webben i webbläsaren. Läs mer nedan om vilken webbadress du ska besöka.

Här finns robots.txt-filer

En robots.txt-fil finns på rotnivå för ett protokoll och en domän. För att kunna fastställa webbadressen måste du ta bort allt efter värden (och den valfria porten) i webbadressen till en fil och lägga till /robots.txt. Om det finns en robots.txt-fil kan du öppna den i webbläsaren. Robots.txt-filer ärvs inte av underdomäner eller överordnade domäner, och en enskild sida kan bara påverkas av en robots.txt-fil. Några exempel:

Filens webbadress Webbadress till robots.txt som kan påverka filen
http://example.com/start http://example.com/robots.txt
https://m.de.example.com/någon/sida/här/minsida https://m.de.example.com/robots.txt
https://example.com?pageid=234#mittankare https://example.com/robots.txt
https://bilder.example.com/blommor/påsklilja.png https://bilder.example.com/robots.txt

Se vilken robots.txt-fil som påverkar en sida eller bild

Så här hittar du webbadressen till den robots.txt-fil som berör en sida eller bild:

  1. Hitta den exakta webbadressen till sidan eller bilden. Du kan högerklicka på en bild i webbläsaren Google Chrome och välja Kopiera bildwebbadress.
  2. Ta bort slutet av webbadressen efter toppdomänen (till exempel .com, .org eller .co.il) och lägg till /robots.txt i slutet. Filen robots.txt för https://bilder.example.com/blommor/påsklilja.png blir alltså https://bilder.example.com/robots.txt
  3. Öppna webbadressen i webbläsaren för att kontrollera att den finns. Om det inte går att öppna filen i webbläsaren finns den inte.

Testa om Google har blockerats av robots.txt

Mer information

Var det här till hjälp?

Hur kan vi förbättra den?
Sök
Rensa sökning
Stäng sökrutan
Googles appar
Huvudmeny