Om robots.txt

Ofte stillede spørgsmål om robots

Generelle spørgsmål om robots

Spørgsmål om robots.txt

Spørgsmål om robots-metatag

Spørgsmål om HTTP-header med X-Robots-Tag

Har vi glemt et ofte stillet spørgsmål? Du er velkommen til at skrive i vores hjælpeforum for webmastere, hvis du har brug for yderligere hjælp.

Generelle spørgsmål om robots

Har mit website brug for en robots.txt-fil?

Nej. Når Googlebot besøger et website, beder vi først om tilladelse til at crawle det ved at forsøge at hente robots.txt-filen. Et website uden en robots.txt-fil, robots-metatags eller HTTP-headere med X-Robots-Tag crawles og indekseres generelt som normalt.

Hvilken metode skal jeg bruge?

Det afhænger af flere ting. Kort beskrevet er der gode grunde til at bruge hver af disse metoder:

  1. Robots.txt: Brug den, hvis crawl af dit indhold forårsager problemer på din server. Det kan f.eks. være, du ønsker at forhindre crawl af uendelige kalenderscripts. Du bør ikke bruge robots.txt til at blokere for privat indhold (brug servergodkendelse i stedet for) eller til at håndtere kanonisering (gå til Hjælp). Hvis du skal være sikker på, at en webadresse ikke indekseres, skal du bruge robots-metatagget eller en HTTP-header med X-Robots-Tag i stedet for.
  2. Robots-metatag: Brug det, hvis du har brug for at styre, hvordan en individuel HTML-side vises i søgeresultaterne (eller for at sikre, at den ikke vises).
  3. HTTP-header med X-Robots-Tag: Brug det, hvis det er nødvendigt for dig at styre, hvordan ikke-HTML-indhold vises i søgeresultaterne (eller for at sikre, at det ikke vises).

Kan jeg bruge disse metoder til at fjerne en andens website?

Nej. Disse metoder gælder kun for websites, hvor du kan ændre koden eller tilføje filer. Hvis du vil fjerne indhold fra et tredjepartswebsite, skal du kontakte webmasteren for at få vedkommende til at fjerne indholdet.

Hvordan kan jeg bremse Googles crawl af mit website?

Du kan generelt justere indstillingen for crawlhastighed på din konto til Google Search Console.

Spørgsmål om robots.txt

Jeg bruger samme robots.txt til flere websites. Kan jeg bruge en fuld webadresse i stedet for en relativ sti?

Nej. Direktiverne i robots.txt-filen (med undtagelse af "Sitemap:") gælder kun for relative stier.

Kan jeg placere robots.txt-filen i en undermappe?

Nej. Filen skal placeres i det øverste mappeniveau på websitet.

Jeg vil blokere en privat mappe. Kan jeg forhindre andre i at læse min robots.txt-fil?

Nej. Robots.txt-filen kan læses af forskellige brugere. Hvis mapper eller filnavne på indhold ikke skal være offentlige, må de ikke være angivet i robots.txt-filen. Det anbefales ikke at vise forskellige robots.txt-filer baseret på brugeragenten eller andre attributter.

Skal jeg medtage et allow-direktiv for at tillade crawl?

Nej, du behøver ikke at medtage et allow-direktiv. Direktivet allow bruges til at tilsidesætte disallow-direktiver i den samme robots.txt-fil.

Hvad sker der, hvis der er en fejl i min robots.txt-fil, eller jeg bruger et direktiv, der ikke understøttes?

Webcrawlere er generelt meget fleksible og lader sig normalt ikke aflede af mindre fejl i robots.txt-filen. Generelt er det værste, der kan ske, at forkerte eller ikke-understøttede direktiver ignoreres. Husk dog på, at Google ikke er tankelæser, når en robots.txt-fil skal fortolkes. Vi er nødt til at fortolke den robots.txt-fil, vi har hentet. Når det er sagt, er det normalt nemt at løse problemer i din robots.txt-fil, som du kender til.

Hvilket program skal jeg bruge til at oprette en robots.txt-fil?

Du kan bruge et hvilket som helst program, så længe du opretter en gyldig tekstfil. Notesblok, TextEdit, vi, eller emacs er programmer, der almindeligvis bruges til at oprette robots.txt-filer. Se, hvordan du opretter robots.txt-filer. Når du har oprettet din fil, skal du validere den ved hjælp af Test af robots.txt.

Forsvinder en side fra søgeresultaterne, hvis jeg forhindrer Google i at crawle den med et direktiv af typen disallow i en robots.txt-fil?

Hvis du forhindrer Google i at crawle en side, fjernes siden sandsynligvis fra Googles indeks. 

Disallow i en robots.txt garanterer dog ikke, at en side ikke vises i søgeresultaterne. Google kan stadig beslutte ud fra eksterne oplysninger, f.eks. indgående links, at den er relevant. Hvis du ønsker udtrykkeligt at blokere for indeksering af en side, bør du i stedet bruge robots-metatagget noindex eller en HTTP-header med X-Robots-Tag. I så fald bør du ikke nægte adgang til siden i robots.txt, da tagget ikke bliver set og overholdt, medmindre siden crawles.

Hvor lang tid går der, før ændringer i min robots.txt-fil påvirker mine søgeresultater?

Robots.txt-filen i cachen skal først opdateres (vi gemmer generelt indholdet i cachen i op til én dag). Selv efter ændringen er fundet, er crawl og indeksering en kompliceret proces, der nogle gange tager et stykke tid for individuelle webadresser, så det er umuligt at angive et nøjagtigt tidsrum. Selv om din robots.txt-fil nægter adgang til en webadresse, skal du være opmærksom på, at webadressen stadig kan være synlig i søgeresultater, selvom vi ikke kan crawle den. Hvis du vil fremskynde fjernelse af de sider, du har blokeret fra Google, kan du indsende en anmodning om fjernelse via Google Search Console.

Hvordan kan jeg midlertidigt suspendere al crawl af mit website?

Du kan midlertidigt suspendere al crawl ved at returnere HTTP-resultatkoden 503 for alle webadresser, herunder robots.txt-filen. Vi forsøger med jævne mellemrum at læse robots.txt-filen, indtil der igen er adgang til den. Vi fraråder, at du ændrer din robots.txt-fil for at forhindre crawl.

Min server skelner ikke mellem store og små bogstaver. Hvordan kan jeg helt forhindre crawl af nogle mapper?

Direktiverne i robots.txt-filen skelner mellem store og små bogstaver. I dette tilfælde anbefales det at sikre, at kun én version af webadressen indekseres ved hjælp af kanoniseringsmetoder. Dette gør det muligt for dig at forenkle din robots.txt-fil. Hvis det ikke er muligt, anbefaler vi, at du angiver de almindelige kombinationer af mappenavnet eller afkorter det så vidt muligt ved kun at bruge de første tegn i stedet for det fulde navn. I stedet for at angive alle kombinationsmuligheder af store og små bogstaver i "/MinPrivateMappe", kan du f.eks. angive kombinationsmulighederne af "/MinP", hvis du er sikker på, at der ikke er andre webadresser med disse begyndelsesbogstaver, der kan crawles. Ellers kan det være en god idé at bruge et robots-metatag eller en HTTP-header med X-Robots-Tag i stedet, hvis crawl ikke er et problem.

Jeg returnerer 403 "Adgang nægtet" for alle webadresser, herunder robots.txt-filen. Hvorfor bliver websitet stadig crawlet?

HTTP-resultatkoden 403 ses – som alle andre HTTP-resultatkoder med 4xx – som et tegn på, at robots.txt-filen ikke findes. Derfor vil webcrawlere generelt antage, at de kan crawle alle webadresser på websitet. Hvis du vil blokere for crawl af websitet, skal robots.txt returneres normalt (med HTTP-resultatkoden 200 "OK") med en passende "disallow" i filen.

Spørgsmål om robots-metatag

Er robots-metatagget en erstatning for robots.txt-filen?

Nej. Robots.txt-filen styrer, hvilke sider der er adgang til. Robots-metatagget styrer, om en side indekseres, men siden skal crawles for at kunne se dette tag. Hvis crawl af siden er et problem (f.eks. hvis siden forårsager høj belastning på serveren), skal du bruge robots.txt-filen. Hvis det udelukkende er et spørgsmål om, hvorvidt en side vises i søgeresultaterne eller ej, kan du bruge robots-metatagget.

Kan robots-metatagget bruges til at forhindre indeksering af en del af en side?

Nej, robots-metatagget er en indstilling på sideniveau.

Kan jeg bruge robots-metatagget uden for en <head>-sektion?

Nej. Robots-metatagget skal i øjeblikket være i <head>-sektionen på en side.

Forhindrer robots-metatagget crawl?

Nej. Selvom der i øjeblikket står noindex i robots-metatagget, bliver vi nødt til at crawle webadressen igen med jævne mellemrum for at se, om metatagget er ændret.

Hvordan fungerer robots-metatagget nofollow i forhold til linkattributten rel="nofollow"?

Robots-metatagget nofollow gælder for alle links på en side. Linkattributten rel="nofollow" gælder kun for bestemte links på en side. Du finder flere oplysninger om linkattributten rel="nofollow" i artiklerne i Hjælp om brugergenereret spam og rel="nofollow".

Spørgsmål om HTTP-header med X-Robots-Tag

Hvordan kan jeg tjekke X-Robots-Tag for en webadresse?

En simpel måde at få vist serverheadere på er at bruge en webbaseret serverheaderkontrol eller at bruge funktionen "Googlebot-simulator" i Google Search Console.

Var disse oplysninger nyttige?
Hvordan kan vi forbedre siden?