I robots.txt-rapporten visas vilka robots.txt-filer som Google hittade för de 20 främsta värdarna på webbplatsen när de senast genomsöktes och eventuella varningar eller fel som påträffades. Med hjälp av rapporten kan du även begära en ny genomsökning av en robots.txt-fil i nödsituationer.
Rapporten är endast tillgänglig för egendomar på domännivå. Det innebär antingen
- en domänegendom (till exempel example.com eller m.example.com)
- en egendom med webbadressprefix utan sökväg, till exempel https://example.com/, men inte https://example.com/sökväg/.
Se dina robots.txt-filer och status för genomsökning
För en domänegendom innehåller rapporten robots.txt-filer från de 20 främsta värdarna i egendomen i fråga.
För varje robots.txt-fil som kontrolleras av Search Console kan du se följande information:
- Filsökväg: Den fullständiga webbadress där Google kontrollerade att det fanns en robots.txt-fil. En webbadress visas bara i rapporten om den har haft statusen Hämtad eller Inte hämtad någon gång under de senaste 30 dagarna. Se Plats för robots.txt-filer.
- Hämtningsstatus: Statusen för den senaste hämtningsbegäran för filen. Följande värden finns:
- Inte hämtad: Hittades inte (404): Ett 404-fel (filen finns inte) uppstod när filen begärdes. Om du har lagt upp en robots.txt-fil på den angivna webbadressen men ser det här felet kan du testa att granska webbadressen och se om det finns några tillgänglighetsproblem. En fil som har statusen Hittades inte (404) i 30 dagar visas inte längre i rapporten (men Google fortsätter att kontrollera den i bakgrunden). Det är okej om det inte finns något robots.txt-fel. Det innebär att Google kan genomsöka alla webbadresser på webbplatsen. Läs dock om hur Google beter sig när det finns något robots.txt-fel.
- Inte hämtad: Någon annan orsak: Ett annat problem uppstod när filen begärdes. Se listan över indexeringsproblem.
- Hämtad: Det senaste genomsökningsförsöket returnerade en robots.txt-fil. Om problem hittas när du analyserar filen visas de i kolumnen Problem. Google ignorerar rader med problem och använder dem som går att analysera.
- Kontrollerad: När Google senast försökte genomsöka webbadressen, i lokal tid.
- Storlek: Storleken på den hämtade filen, i byte. Om det senaste hämtningsförsöket misslyckades är fältet tomt.
- Problem: I tabellen visas antalet analysproblem i filen när den senast hämtades. Fel förhindrar att en regel används. Varningar förhindrar inte att en regel används. Läs mer om hur Google beter sig när det finns ett robots.txt-fel. Du kan åtgärda analysproblemen med en validerare för robots.txt.
Se den senast hämtade versionen
Du kan se den senast hämtade versionen av en robots.txt-fil genom att klicka på den i fillistan i rapporten. Om robots.txt-filen innehåller fel eller varningar markeras de i filinnehållet. Du kan bläddra igenom felen och varningarna med piltangenterna.
Se tidigare hämtade versioner
Om du vill se hämtningsbegäranden för en viss robots.txt-fil under de senaste 30 dagarna kan du klicka på filen i fillistan i rapporten och sedan på Versioner. Klicka på en version för att se filinnehållet för den. En begäran tas bara med i historiken om den hämtade filen eller hämtningsresultatet skiljer sig från föregående filhämtningsbegäran.
Om Google påträffade ett hämtningsfel vid det senaste hämtningsförsöket använder Google den senast hämtade versionen utan fel i upp till 30 dagar.
Begär en ny genomsökning
Du kan begära en ny genomsökning av en robots.txt-fil när du har åtgärdat ett fel eller gör en viktig ändring.
När ska du begära en ny genomsökning?
Du behöver oftast inte begära en ny genomsökning av en robots.txt-fil eftersom Google genomsöker robots.txt-filerna ofta. I följande fall kan du dock begära en ny genomsökning av robots.txt:
- Du har ändrat reglerna i robots.txt för att avblockera viktiga webbadresser och vill meddela Google snabbt (observera att detta inte garanterar en omedelbar genomsökning av avblockerade webbadresser).
- Du har åtgärdat ett hämtningsfel eller annat allvarligt fel.
Så här begär du en ny genomsökning
Om du vill begära en ny genomsökning ska du välja ikonen för fler inställningar 
Webbplatser på webbhotell
Om din webbplats finns på ett webbhotell kanske det inte är enkelt att redigera robots.txt-filen. Läs i så fall webbhotellets dokumentation om hur du blockerar specifika sidor från att genomsökas eller indexeras av Google. (Observera att de flesta användare vill förhindra att filer visas på Google Sök snarare än att de genomsöks av Google. Om det är det här du vill göra kan du söka efter information om hur du blockerar sidor från sökmotorer hos webbhotellet.)
Vad händer när Google inte kan hämta eller läsa robots.txt?
Om det inte går att hitta någon robots.txt-fil på en domän eller underdomän antar Google att den kan genomsöka alla webbadresser från den värden.
Om Google hittar en robots.txt-fil men inte kan hämta den gör Google så här:
- Under de första 12 timmarna slutar Google att genomsöka webbplatsen men fortsätter att försöka hämta robots.txt-filen.
- Om Google inte kan hämta en ny version använder Google den senaste fungerande versionen under de kommande 30 dagarna och försöker samtidigt hämta en ny version. Du kan se den senaste fungerande versionen i versionshistoriken.
- Om felen inte har åtgärdats efter 30 dagar:
- Om webbplatsen är allmänt tillgänglig för Google beter sig Google som om det inte finns någon robots.txt-fil (men fortsätter att söka efter en ny version).
- Om webbplatsen har allmänna tillgänglighetsproblem slutar Google att genomsöka webbplatsen och fortsätter samtidigt att regelbundet begära en robots.txt-fil.
Om Google hittar och kan hämta en robots.txt-fil: Google läser filen rad för rad. Om det finns ett fel på en rad eller om den inte går att analysera som en robots.txt-regel hoppas den över. Om det inte finns några giltiga rader i filen behandlar Google den som en tom robots.txt-fil, vilket innebär att det inte finns några deklarerade regler för webbplatsen.
Var robots.txt-filer finns
Terminologi:
- Ett protokoll (kallas även schema) är antingen HTTP eller HTTPS.
- En värd är allt i webbadressen efter protokollet (http:// eller https://) fram till sökvägen. Värden m.de.example.com anger alltså tre möjliga värdar: m.de.example.com, de.example.com och example.com, som var och en kan ha sin egen robots.txt-fil.
- Ett ursprung är protokollet i kombination med värden. Exempel: https://example.com/ eller https://m.example.co.es/
Enligt RFC 9309 måste robots.txt-filen finnas på rotnivå för varje kombination av protokoll och värd för webbplatsen.
- Search Console väljer de 20 främsta värdarna, sorterade efter genomsökningshastighet. För varje domän kan rapporten visa upp till två ursprung, vilket innebär att tabellen kan visa upp till 40 rader. Om du inte hittar webbadressen till robots.txt för en av dina värdar kan du skapa en domänegendom för underdomänen som saknas.
- Search Console kontrollerar två webbadresser för varje värd:
- http://<värd>/robots.txt
- https://<värd>/robots.txt
- Om robots.txt-filen på den begärda webbadressen rapporteras som Hittades inte under 30 dagar visar Search Console inte webbadressen i rapporten, men Google fortsätter att kontrollera webbadressen i bakgrunden. För alla andra resultat visas den kontrollerade webbadressen i rapporten.
För en egendom med webbadressprefix på värdnivå (till exempel https://example.com/) kontrollerar Search Console bara ett ursprung för egendomen. Det innebär att Search Console bara kontrollerar https://example.com/robots.txt för egendomen https://example.com och inte http://example.com/robots.txt eller https://m.example.com/robots.txt.
Vanliga uppgifter
Visa en robots.txt-fil
Du kan öppna en robots.txt-fil som finns med i rapporten genom att klicka på filen i listan med robots.txt-filer. Klicka på Öppna den publicerade robots.txt-filen för att öppna filen i webbläsaren.
Du kan öppna valfri robots.txt-fil på webben i webbläsaren. Läs mer nedan om vilken webbadress du ska besöka.
En robots.txt-fil finns på rotnivå för ett protokoll och en domän. För att kunna fastställa webbadressen måste du ta bort allt efter värden (och den valfria porten) i webbadressen till en fil och lägga till /robots.txt. Om det finns en robots.txt-fil kan du öppna den i webbläsaren. Robots.txt-filer ärvs inte av underdomäner eller överordnade domäner, och en enskild sida kan bara påverkas av en robots.txt-fil. Några exempel:
| Filens webbadress | Webbadress till robots.txt som kan påverka filen |
|---|---|
| http://example.com/start | http://example.com/robots.txt |
| https://m.de.example.com/någon/sida/här/minsida | https://m.de.example.com/robots.txt |
| https://example.com?pageid=234#mittankare | https://example.com/robots.txt |
| https://bilder.example.com/blommor/påsklilja.png | https://bilder.example.com/robots.txt |
Se vilken robots.txt-fil som påverkar en sida eller bild
Så här hittar du webbadressen till den robots.txt-fil som berör en sida eller bild:
- Hitta den exakta webbadressen till sidan eller bilden. Du kan högerklicka på en bild i webbläsaren Google Chrome och välja Kopiera bildwebbadress.
- Ta bort slutet av webbadressen efter toppdomänen (till exempel .com, .org eller .co.il) och lägg till /robots.txt i slutet. Filen robots.txt för https://bilder.example.com/blommor/påsklilja.png blir alltså https://bilder.example.com/robots.txt
- Öppna webbadressen i webbläsaren för att kontrollera att den finns. Om det inte går att öppna filen i webbläsaren finns den inte.
Testa om Google har blockerats av robots.txt
- Om du vill testa om en specifik webbadress blockeras av en robots.txt-fil kan du kontrollera om webbadressen är tillgänglig med granskningsverktyget för webbadresser.
- Om du vill testa en specifik robots.txt-regel mot en fil som inte finns på webben ännu, eller testa en ny regel, kan du använda ett testverktyg för robots.txt från tredje part.
Mer information
- Vad är en robots.txt-fil och hur används den?
- Så här implementerar du en robots.txt-fil