Haku
Tyhjennä haku
Sulje haku
Google-sovellukset
Päävalikko

Googlebot

Googlebot on Googlen verkkoindeksointirobotti (sitä kutsutaan myös indeksoijaksi). Indeksoinnissa Googlebot etsii uusia ja päivitettyjä sivuja Google-hakemistoon lisäämistä varten.

Googlella on valtava määrä tietokoneita verkon miljardien sivujen noutamista (eli indeksointia) varten. Googlebotin indeksointiprosessi perustuu algoritmeihin. Ohjelmistot määrittävät, mitkä sivustot indeksoidaan, kuinka usein ne indeksoidaan ja kuinka monta sivua kultakin sivustolta noudetaan.

Indeksointi alkaa aiempien indeksointien aikana luodusta verkkosivujen URL-osoitteiden luettelosta, jota on laajennettu verkkovastaavien toimittamilla sivustokarttatiedoilla. Googlebotin käydessä verkkosivustoilla se tunnistaa sivuilla olevat linkit (SRC ja HREF) ja lisää ne indeksoitavien sivujen luetteloon. Tiedot uusista sivustoista, nykyisten sivustojen muutoksista sekä vanhentuneista linkeistä kirjataan ylös, ja niitä käytetään Google-hakemiston päivittämiseen.

Verkkovastaaville: Googlebot ja sivustosi

Miten Googlebot käyttää sivustoasi

Googlebotin ei pitäisi käydä useimmilla sivustoilla useammin kuin keskimäärin muutaman sekunnin välein. Ota kuitenkin huomioon, että verkkoviiveiden takia Googlebot saattaa hetkittäin käydä sivustollasi tavallista useammin.

Googlebot suunniteltiin useilla koneilla käytettäväksi, jotta sen tehokkuus ja ulottuvuus voisivat kasvaa internetin kasvun myötä. Lisäksi vähennämme käytettävää kaistanleveyttä käyttämällä useita indeksointirobotteja tietokoneilla, jotka sijaitsevat indeksoitavien sivustojen lähellä verkossa. Lokeissasi saattaa siis näkyä useita google.comin koneiden vierailuja, joiden kaikkien käyttäjäagentti on Googlebot. Tavoitteena on indeksoida jokaisella käynnillä mahdollisimman monta sivustosi sivua kuormittamatta liikaa palvelimesi kaistanleveyttä. Pyydä indeksointitiheyden muutosta.

Näin voit estää Googlebotia indeksoimasta sivustosi sisältöä

On lähes mahdotonta pitää verkkopalvelin salaisena olemalla julkaisematta siihen johtavia linkkejä. Jos käyttäjä seuraa linkkiä ”salaiselta” palvelimeltasi toiselle verkkopalvelimelle, "salainen" URL-osoitteesi saattaa näkyä viittaustagissa, jolloin toinen verkkopalvelin saattaa tallentaa sen viittauslokiinsa. Internetissä on myös paljon vanhentuneita ja rikkinäisiä linkkejä. Aina, kun joku julkaisee virheellisen sivustollesi johtavan linkin tai ei päivitä linkkejään palvelimesi muutoksien mukaan, Googlebot yrittää ladata virheellisen linkin sivustoltasi.

Jos haluat estää Googlebotia indeksoimasta sivustosi sisältöä, käytössäsi on useita vaihtoehtoja: voit esimerkiksi estää Googlebotia käyttämästä palvelimellasi olevia tiedostoja ja hakemistoja robots.txt-tiedoston avulla.

Robots.txt-tiedoston luomisen jälkeen saattaa kestää jonkin aikaa, ennen kuin Googlebot havaitsee tekemäsi muutokset. Jos Googlebot indeksoi edelleen robots.txt-tiedoston avulla estämääsi sisältöä, tarkista, että robots.txt-tiedosto sijaitsee oikeassa paikassa. Sen on oltava palvelimen päähakemistossa (esimerkiksi www.example.com/robots.txt). Jos tiedosto on alihakemistossa, se ei toimi tarkoitetulla tavalla.

Jos haluat vain estää ”tiedostoa ei löydy” -virheitä näkymästä verkkopalvelimesi lokissa, voit luoda tyhjän robots.txt-tiedoston. Jos haluat estää Googlebotia seuraamasta jollakin sivustosi sivulla olevia linkkejä, voit käyttää nofollow-sisällönkuvauskenttää. Voit estää Googlebotia seuraamasta yksittäistä linkkiä lisäämällä attribuutin rel="nofollow" suoraan linkkiin.

Tässä muutamia lisävinkkejä:

  • Testaa robots.txt-tiedostosi toimintaa. Estetyt URL-osoitteet -sivun Testaa robots.txt-tiedoston toiminta -työkalun avulla näet, kuinka Googlebot tulkitsee robots.txt-tiedostosi sisällön. Googlen käyttäjäagentti on Googlebot.
  • Search Consolen Hae kuten Google -työkalun avulla voit tarkistaa, miltä sivustosi näyttää Googlebotille. Tämä voi olla hyödyllistä korjatessasi sivuston sisältöön tai hakutuloksissa näkymiseen liittyviä ongelmia.

Varmista, että sivustosi on indeksoitavissa

Googlebot löytää sivustot seuraamalla linkkejä sivulta toiselle. Search Consolen Indeksointivirheet-osiossa näytetään virheet, jotka Googlebot löysi sivustoltasi indeksoidessaan sitä. Suosittelemme tarkistamaan nämä indeksointivirheet säännöllisesti, jotta havaitset mahdolliset ongelmat.

Jos robots.txt-tiedostosi toimii oikein, mutta sivustollesi ei tule yhtään liikennettä, tässä muutamia mahdollisia syitä siihen, miksi sivustosi sijoitus hakutuloksissa on heikko.

Roskasisällön lisääjien ja muiden käyttäjäagenttien aiheuttamat ongelmat

Googlebotin käyttämät IP-osoitteet muuttuvat ajoittain. Googlebotin käynnit voi tunnistaa parhaiten sen käyttäjäagentista (Googlebot). Voit vahvistaa, että palvelintasi käyttävä robotti on todella Googlebot, käyttämällä käänteistä DNS-menetelmää.

Googlebot ja kaikki hyvämaineisten hakukoneiden robotit tottelevat robots.txt-tiedoston määräyksiä, mutta kaikki roskasisällön lisääjät ja muut pahantekijät eivät. Ilmoita roskasisällöstä Googlelle.

Googlella on useita muita käyttäjäagentteja, kuten Feedfetcher (käyttäjäagentti Feedfetcher-Google). Feedfetcher-pyynnöt tulevat käyttäjiltä, jotka ovat lisänneet syötteet Google-etusivuilleen. Pyynnöt eivät tule automaattisilta indeksointiroboteilta, joten Feedfetcher ei noudata robots.txt-tiedoston ohjeita. Voit estää Feedfetcheriä indeksoimasta sivustoasi määrittämällä palvelimesi tarjoamaan 404-, 410- tai muun virheilmoituksen käyttäjäagentille Feedfetcher-Google. Lisätietoja Feedfetcheristä

Oliko tästä artikkelista hyötyä?
Miten sivua voisi parantaa?