Tilpasset robots.txt

Advarsel! Vær forsigtig, når du bruger denne funktion. Hvis funktionen bruges forkert, vil søgemaskinerne muligvis ignorere din blog.

Tilpasset robots.txt er en metode, du kan bruge til at fortælle søgemaskinen, at du ikke vil have, at den crawler bestemte sider af din blog ("crawle" betyder, at crawlere, som f.eks. Googlebot, gennemgår dit indhold og indekserer det, så andre webbrugere kan finde det, når de søger efter det). Der kan f.eks. være dele af din blog, der indeholder oplysninger, som du helst ikke vil fremhæve, måske af personlige årsager, eller fordi det ikke er repræsentativt for din blogs generelle emne. I sådanne tilfælde kan du definere disse begrænsninger.

Du skal dog være opmærksom på, at andre websites muligvis har linket til andre sider, som du har besluttet at begrænse. Desuden kan Google indeksere din side, hvis vi opdager den ved at følge et link fra en anden persons website. For at kunne vise den i søgeresultater skal Google vise en titel af en slags, og da vi ikke har adgang til noget af din sides indhold, bruger vi indhold uden for siden, f.eks. ankertekst fra andre websites. (Hvis du vil blokere en webadresse helt fra at blive indekseret, kan du bruge metatags.)

Tilpasset robot.txt for Blogger

Hvis du vil udelukke bestemt indhold fra at blive søgt på, skal du gå til Indstillinger | Søgeindstillinger og klikke på Rediger ved siden af "Tilpasset robots.txt". Indtast det indhold, du vil have, at webrobotter skal ignorere. Eksempel:

Brugeragent: *
Disallow: /about

Du kan også læse om robot.txt i dette indlæg på Google Webmaster Central Blog.