Sök
Rensa sökning
Stäng sökrutan
Googles appar
Huvudmeny

Blockera webbadresser med robots.txt

Mer om robots.txt-filer

En robots.txt-fil är en fil i webbplatsens rotkatalog som identifierar delar av webbplatsen som inte ska vara tillgängliga för sökrobotar. Filen använder Robots Exclusion Standard, ett protokoll med ett begränsat antal kommandon som används för att ange åtkomstbehörighet till olika delar av webbplatsen och för olika typer av sökrobotar (till exempel sökrobotar för mobiler respektive för stationära datorer).

Vad används robots.txt till?

Filer utan bilder

För filer utan bilder (alltså webbsidor) ska robots.txt endast användas till att kontrollera genomsökande trafik, eftersom du vanligtvis inte vill att servern ska överbelastas av Googles sökrobotar eller slösa bort budgeten för sökrobotar på att söka igenom oviktiga eller liknande sidor på webbplatsen. Du ska inte använda robots.txt till att dölja dina webbsidor från resultaten på Google Sök. Anledningen till detta är att andra sidor kanske pekar på din sida genom att undvika robots.txt-filen, vilket kan leda till att sidan indexeras. Använd en annan metod om du vill blockera din sida från sökresultaten, till exempel lösenordsskydd eller taggarna eller direktiven noindex.

Bildfiler

robots.txt hindrar bildfiler från att visas i Googles sökresultat. (Men andra sidor eller användare kan fortfarande länka till din bild.)

Resursfiler

Med robots.txt kan du blockera resursfiler, till exempel oviktiga bild-, skript- eller formatfiler, om du anser att sidor som läses in utan dessa resurser inte påverkas nämnvärt av blockeringen. Men om Googles sökrobot får svårare att förstå sidan bör du inte blockera dem, eftersom de sidor som måste ha dessa resurser då inte analyseras korrekt av Google.

Begränsningar med robots.txt

Innan du skriver en robots.txt-fil bör du känna till riskerna med att blockera webbadresser på detta sätt. I vissa fall kanske du vill använda andra tekniker så att dina webbadresser inte ska gå att hitta på webben.

  • Robots.txt-filen är inte tvingande

    Instruktionerna i en robots.txt-fil är inte tvingande för en sökrobot som besöker webbplatsen. I stället tjänar de som riktlinjer för de sökrobotar som genomsöker den. Googlebot och andra sökrobotar från seriösa företag följer instruktionerna i en robots.txt-fil, men alla sökrobotar gör kanske inte det. Därför är det bättre att blockera innehåll på andra sätt om du vill att sökrobotar inte ska kunna hitta det. Du kan till exempel lösenordsskydda privata filer på servern.
  • Syntaxen tolkas olika av olika sökrobotar

    Även om seriösa företags sökrobotar följer instruktionerna i en robots.txt-fil kan det hända att olika sökrobotar tolkar syntaxen på olika sätt. Du bör känna till rätt syntax för att hantera olika sökrobotar, eftersom en del kanske inte förstår vissa instruktioner.
  • Robots.txt-filen hindrar inte andra webbplatser från att hänvisa till dina webbadresser

    Google varken genomsöker eller indexerar innehåll som blockerats med robots.txt, men vi kan fortfarande hitta och indexera en blockerad webbadress om den hänvisas till på annat håll på webben. Därför kan webbadressen och möjligen även annan offentligt tillgänglig information, t.ex. text i länkar till webbplatsen, ändå visas i Googles sökresultat. Du kan helt förhindra att en webbadress visas i Googles sökresultat genom att använda andra sätt att blockera webbadresser. Du kan till exempel lösenordsskydda filerna på servern eller använda metataggen eller rubriksvaret noindex.
Obs! Om du kombinerar olika direktiv för genomsökning och indexering kan det hända att de motsäger varandra. Läs mer om hur direktiven ska konfigureras i avsnittet om att kombinera direktiv för genomsökning och indexering/visning i dokumentationen på webbplatsen Google Developers.
Var den här artikeln till hjälp?
Hur kan vi förbättra den?