Googlebot

Googlebot on Googlen indeksointirobotin nimi. Googlebot-nimeä käytetään yleisesti kahdesta erilaisesta indeksointirobotista: tietokoneversiosta ja mobiiliversiosta. Kumpikin jäljittelee tietyn laitetyypin käyttäjää.

Sekä Googlebot Desktop että Googlebot Smartphone todennäköisesti indeksoivat sivustosi. Tunnistat Googlebot-tyypin pyynnössä olevasta käyttäjäagentin merkkijonosta. Kumpikin robottityyppi kuitenkin noudattaa samaa robots.txt-tiedoston tuotetunnusta (käyttäjäagentin tunnus), joten robots.txt-tiedostoa ei voi kohdistaa valikoidusti vain Googlebotin mobiili- tai tietokoneversiolle.

Jos sivusto on muunnettu Googlessa mobiililähtöiseksi, suurin osa Googlebotin indeksointipyynnöistä toteutetaan robotin mobiiliversiolla ja pieni osa tietokoneversiolla. Jos sivustoa ei ole vielä muunnettu, tietokoneversio suorittaa suurimman osan indeksoinneista. Molemmissa tapauksissa vähemmän käytetty robotti indeksoi ainoastaan URL-osoitteita, jotka useammin käytetty robotti on jo indeksoinut.

 

Miten Googlebot käyttää sivustoasi

Googlebotin ei pitäisi käydä useimmilla sivustoilla useammin kuin keskimäärin muutaman sekunnin välein. Ota kuitenkin huomioon, että viiveiden vuoksi Googlebot saattaa hetkittäin käydä sivustollasi tavallista useammin.

Googlebot on suunniteltu käytettäväksi samanaikaisesti tuhansilla koneilla, jotta sen tehokkuus ja kattavuus lisääntyvät internetin kasvaessa. Lisäksi vähennämme käytettävää kaistanleveyttä käyttämällä useita indeksointirobotteja tietokoneilla, jotka sijaitsevat indeksoitavien sivustojen lähellä. Lokeissasi saattaa siis näkyä useita google.comin koneiden vierailuja, joiden kaikkien käyttäjäagentti on Googlebot. Tavoitteena on indeksoida jokaisella käynnillä mahdollisimman monta sivustosi sivua kuormittamatta liikaa palvelimesi kaistanleveyttä. Jos sivustosi ei pysy Googlen indeksointipyyntöjen tahdissa, voit pyytää indeksointinopeuden muutosta.

Googlebotin estäminen sivustolta

On lähes mahdotonta pitää verkkopalvelin salaisena jättämällä siihen johtavat linkit julkaisematta. Jos esimerkiksi käyttäjä seuraa linkkiä "salaiselta" palvelimeltasi toiselle verkkopalvelimelle, "salainen" URL-osoitteesi saattaa näkyä viittaustagissa, jolloin toinen verkkopalvelin saattaa tallentaa sen viittauslokiinsa. Internetissä on myös paljon vanhentuneita ja rikkinäisiä linkkejä. Jos joku julkaisee sivustollesi johtavan virheellisen linkin tai ei päivitä linkkejään palvelimesi muutoksien mukaan, Googlebot yrittää aina indeksoida virheellisen linkin sivustoltasi.

Jos haluat estää Googlebotia indeksoimasta sivustosi sisältöä, sinulla on useita vaihtoehtoja. Muistathan, että voit tehdä kolme eri asiaa: estää Googlebotia indeksoimasta sivua, estää Googlebotia lisäämästä sivua hakemistoon ja estää sivun käytön sekä indeksointiroboteilta että käyttäjiltä.

Googlebotin vahvistaminen

Ennen kuin päätät estää Googlebotin, huomaa, että muut indeksointirobotit väärentävät Googlebotin käyttämää käyttäjäagentin merkkijonoa. On tärkeää varmistaa, että ongelmallinen pyyntö todella tulee Googlelta. Paras tapa varmistaa pyynnön olevan peräisin Googlebotilta on käyttää käänteistä DNS-hakua pyynnön IP-osoitelähteeseen.

Googlebot ja kaikki hyvämaineisten hakukoneiden robotit noudattavat robots.txt-tiedoston sääntöjä, mutta jotkut pahantekijät ja roskasisällön lisääjät eivät. Google torjuu aktiivisesti roskasisällön lisääjiä. Jos huomaat roskasisältösivuja tai ‑sivustoja, voit ilmoittaa roskasisällöstä Googlelle.

 

Oliko tästä apua?
Miten sivua voisi parantaa?