Haku
Tyhjennä haku
Sulje haku
Google-sovellukset
Päävalikko

URL-osoitteiden estäminen robots.txt-tiedoston avulla

Lisätietoja robots.txt-tiedostoista

Robots.txt on sivustosi juuressa oleva tekstitiedosto, joka estää indeksointirobotteja indeksoimasta tiettyjä sivustosi osia. Tiedosto käyttää Robots Exclusion Standardia eli pienistä komentoryhmistä koostuvaa protokollaa, jonka avulla voidaan määrittää sivustollesi pääsy sivuston osioiden ja indeksointirobottien tyypin mukaan (esimerkiksi mobiili- ja pöytäkoneindeksointirobotit).

Mihin robots.txt-tiedostoa käytetään?

Muut kuin kuvatiedostot

Kun kyse on muista kuin kuvatiedostoista (eli verkkosivuista), robots.txt-tiedostoa on syytä käyttää vain indeksointiliikenteen hallinnointiin, yleensä silloin, kun pelkäät Googlen indeksointirobotin ylikuormittavan palvelimesi tai turhien ja samankaltaisten sivujen indeksoinnin kuluttavan turhaan indeksointibudjettia. Robots.txt-tiedoston käyttäminen verkkosivujen piilottamiseen Googlen hakutuloksista ei ole suositeltavaa. Tämä johtuu siitä, että muut sivut saattavat linkittää sivullesi. Tällöin sivusi saatetaan indeksoida linkittävien sivujen kautta huomioimatta robots.txt-tiedostoa. Sivun näkymisen hakutuloksissa voi estää muilla keinoin, esimerkiksi salasanasuojauksella tai noindex-tageilla tai -säännöillä.

Kuvatiedostot

Robots.txt-tiedosto estää kuvatiedostoja näkymästä Googlen hakutuloksissa. (Se ei tosin estä muita sivuja tai käyttäjiä linkittämästä kuvaasi.)

Resurssitiedostot

Voit estää resurssitiedostojen, esimerkiksi tarpeettomien kuva-, ohjelma- tai tyylitiedostojen, näkymisen robots.txt-tiedostolla, jos uskot, ettei sivujen ymmärrettävyys kärsi merkittävästi lataamisesta ilman näitä resursseja. Sinun ei kuitenkaan kannata estää näitä resursseja, jos niiden puute tekee sivusta Googlen indeksointirobotille vaikeasti ymmärrettävän. Muuten Google ei pysty onnistuneesti jäsentämään sivuja, joihin nämä resurssit vaikuttavat.

Robots.txt-tiedoston rajoitukset

Ennen kuin luot robots.txt-tiedoston, on hyvä tiedostaa tämän URL-osoitteiden estämistavan riskit. Sinun kannattaa harkita myös muita tapoja varmistaaksesi, että URL-osoitteesi eivät löydy verkosta.

  • Robots.txt-ohjeet eivät ole sääntöjä

    Robots.txt-tiedostojen komennot eivät ole sääntöjä, joita kaikkien indeksointirobottien on noudatettava. Sen sijaan näitä komentoja kannattaa ajatella ohjeina. Googlebot ja muut hyvämaineiset indeksointirobotit tottelevat robots.txt-tiedoston ohjeita, mutta muut indeksointirobotit eivät välttämättä tee niin. Tämän vuoksi suosittelemme yksityisten tietojen suojaamiseen muita estämistapoja, kuten palvelimellasi olevien yksityisten tietojen suojaamista salasanalla.
  • Eri indeksointirobotit tulkitsevat syntaksia eri tavoilla

    Vaikka kunnialliset indeksointirobotit noudattavat robots.txt-tiedoston ohjeita, jotkin robotit tulkitsevat niitä eri tavalla. Sinun on tiedettävä oikea syntaksi kunkin robotin kanssa viestimiseen, sillä kaikki robotit eivät ymmärrä kaikkia ohjeita.
  • Robots.txt-ohjeet eivät voi estää muiden sivustojen viittauksia URL-osoitteisiisi

    Vaikka Google ei lue tai indeksoi robots.txt-tiedoston estämää sisältöä, voimme edelleen löytää ja indeksoida tietoja estetyistä URL-osoitteista muualta verkosta. Tämän seurauksena URL-osoite ja mahdollisesti muut julkisesti saatavilla olevat tiedot, kuten sivustoon johtavien linkkien ankkuriteksti, voivat edelleen näkyä Googlen hakutuloksissa. Voit estää URL-osoitteen näkymisen hakutuloksissa muilla osoitteiden estämistavoilla, kuten suojaamalla palvelimella olevat tiedostot salasanalla tai käyttämällä noindex-sisällönkuvauskenttää tai vastauksen otsikkoa.
Huom. Useiden indeksointiohjeiden yhdistäminen saattaa aiheuttaa ristiriitoja eri ohjeiden välille. Lisätietoja näiden ohjeiden oikeasta määrittämistavasta on Google-kehittäjien dokumentaation Indeksoinnin ja näyttöohjeiden yhdistäminen -osiossa.
Oliko tästä artikkelista hyötyä?
Miten sivua voisi parantaa?