Blockera webbadresser med robots.txt

Mer om robots.txt-filer

En robots.txt-fil är en fil i webbplatsens rotkatalog som identifierar delar av webbplatsen som inte ska vara tillgängliga för sökrobotar. Filen använder Robots Exclusion Standard, ett protokoll med ett begränsat antal kommandon som används för att ange åtkomstbehörighet till olika delar av webbplatsen och för olika typer av sökrobotar (till exempel sökrobotar för mobiler respektive för stationära datorer).

Vad används robots.txt till?

Filer utan bilder

För filer utan bilder (alltså webbsidor) ska robots.txt endast användas till att kontrollera genomsökande trafik, eftersom du vanligtvis inte vill att servern ska överbelastas av Googles sökrobotar eller slösa bort budgeten för sökrobotar på att söka igenom oviktiga eller liknande sidor på webbplatsen. Du ska inte använda robots.txt till att dölja dina webbsidor från resultaten på Google Sök. Anledningen till detta är din sida kan indexeras genom att andra sidor pekar på den, vilket kringgår robots.txt-filen. Använd en annan metod om du vill blockera din sida från sökresultaten, till exempel lösenordsskydd eller taggarna eller direktiven noindex.

Bildfiler

robots.txt hindrar bildfiler från att visas i Googles sökresultat. (Men andra sidor eller användare kan fortfarande länka till din bild.)

Resursfiler

Med robots.txt kan du blockera resursfiler, till exempel oviktiga bild-, skript- eller formatfiler, om du anser att sidor som läses in utan dessa resurser inte påverkas nämnvärt av blockeringen. Men om Googles sökrobot får svårare att förstå sidan bör du inte blockera dem, eftersom de sidor som måste ha dessa resurser då inte analyseras korrekt av Google.

Begränsningar med robots.txt

Innan du skriver en robots.txt-fil bör du känna till riskerna med att blockera webbadresser på detta sätt. I vissa fall kanske du vill använda andra tekniker så att dina webbadresser inte ska gå att hitta på webben.

  • Robots.txt-filen är inte tvingande

    Instruktionerna i en robots.txt-fil är inte tvingande för en sökrobot som besöker webbplatsen. I stället tjänar de som riktlinjer för de sökrobotar som genomsöker den. Googlebot och andra sökrobotar från seriösa företag följer instruktionerna i en robots.txt-fil, men alla sökrobotar gör kanske inte det. Därför är det bättre att blockera innehåll på andra sätt om du vill att sökrobotar inte ska kunna hitta det. Du kan till exempel lösenordsskydda privata filer på servern.
  • Syntaxen tolkas olika av olika sökrobotar

    Även om seriösa företags sökrobotar följer instruktionerna i en robots.txt-fil kan det hända att olika sökrobotar tolkar syntaxen på olika sätt. Du bör känna till rätt syntax för att hantera olika sökrobotar, eftersom en del kanske inte förstår vissa instruktioner.
  • En sida som blockerats med robot.txt kan fortfarande indexeras om andra webbplatser länkar till den

    Google varken genomsöker eller indexerar innehåll som blockerats med robots.txt, men vi kan fortfarande hitta och indexera en blockerad webbadress om det finns länkar till den någon annanstans på webben. Därför kan webbadressen och möjligen även annan offentligt tillgänglig information, t.ex. ankartext i länkar till sidan, ändå visas i Googles sökresultat. Det bästa sättet att förhindra att en webbadress visas i Googles sökresultat är att lösenordsskydda filerna på servern eller använda metataggen eller svarshuvudet noindex (eller ta bort sidan helt).
Obs! Om du kombinerar olika direktiv för genomsökning och indexering kan det hända att de motsäger varandra. Läs mer om hur direktiven ska konfigureras i avsnittet om att kombinera direktiv för genomsökning och indexering/visning i dokumentationen på webbplatsen Google Developers.
Var den här artikeln till hjälp?
Hur kan vi förbättra den?