Jos Googlebotia estetään käyttämästä sivustoa, Googlebot ei pysty indeksoimaan sivuston sisältöä ja sivuston sijoitus Googlen hakutuloksissa voi heikentyä. Monet verkkovastaavat valitettavasti estävät vahingossa Googlebotia käyttämästä sivustoaan, eivätkä välttämättä ole tästä tietoisia, koska Googlebotin täytyy päästä käyttämään sivustoa noutaakseen robots.txt-tiedoston ja noudattaakseen siinä määritettyjä ohjeita.
Kun Google havaitsee tämän ongelman, voimme ilmoittaa Webmaster Toolsin avulla vahvistetuille sivuston omistajille, että Googlebot on estetty.
Googlebotin estämisestä johtuvien ongelmien diagnosointi
Jos epäilet, että Googlebot ei pääse käyttämään sivustoasi, tai jos saat viestin, jossa ilmoitetaan kyseisestä ongelmasta, tarkista seuraavat Webmaster Toolsissa:
- Indeksointivirheet. Tällä sivulla näytetään virheet, jotka Googlebot kohtasi indeksoidessaan sivustoasi.
- Hae kuten Googlebot. Tällä sivulla voit pyytää Googlea indeksoimaan tietyn sivun ja näyttämään tulokset (ja virheet).
Saat lisätietoja ongelmista ja niiden ratkaisemisesta Verkkovastaavien ohjekeskusteluryhmästä.
Yleisiä syitä
Tässä muutamia yleisiä syitä, miksi Googlebot ei pääse käyttämään sivustoasi.
DNS-ongelmat
Emme saaneet yhteyttä DNS-palvelimeen sivuston avausyrityksen yhteydessä. Tämä voi johtua siitä, että palvelimesi ei ole käytössä, tai siitä, että verkkotunnuksesi DNS-reitityksessä on ongelmia.
Voit korjata ongelman varmistamalla, että DNS-palveluntarjoaja ei estä Googlebotia (mahdollisesti tahattomasti).
Palomuurit
Joissakin tapauksissa väärin määritetty palomuuri tai DoS-suojausjärjestelmä (joskus sivuston sisällönhallintajärjestelmä) estää Googlebotia indeksoimasta sivustoa. Suojausjärjestelmät ovat tärkeä osa hyvää sivuston ylläpitoa, ja ne on usein asetettu estämään automaattisesti epätavallisen korkeat palvelinpyyntöjen määrät. Googlebot kuitenkin tekee usein ihmiskäyttäjiä enemmän pyyntöjä, joten se voi laukaista suojausjärjestelmän. Tällöin Googlebotia estetään indeksoimasta sivustoasi.
Voit korjata ongelman tarkistamalla, mikä sivustosi infrastruktuurin osa estää Googlebotin ja poistamalla eston. Palomuuri ei välttämättä ole omassa hallinnassasi, joten saatat joutua keskustelemaan tästä verkkopalvelun tarjoajasi kanssa.
Tarkoituksellinen estäminen
Jotkut verkkovastaavat estävät Googlebotia käyttämästä sivustojaan tahallisesti, mahdollisesti yllä kuvatun palomuurin avulla. Näissä tapauksissa tarkoituksena ei yleensä ole koko Googlebotin estäminen vaan sivuston indeksoinnin hallinta. Tarkista tässä tapauksessa seuraavat:
- Jos haluat määrittää, miten Googlebot indeksoi sisältöäsi, lue lisätietoja robottien poissulkemisprotokollasta, robots.txt-tiedoston käyttämisestä sekä URL-parametrien määrittämisestä.
- Jos sinua huolestuttaa, että muut robotit käyttävät Googlebotin user-agentia, voit tarkistaa, onko indeksointirobotti todella Googlebot.
- Jos haluat muuttaa sivustosi indeksointitiheyttä, voit vahvistaa sivustosi Webmaster Toolsissa ja muuttaa Googlebotin indeksointitiheyttä. Verkkopalvelujen tarjoajat voivat myös vahvistaa omistamansa IP-osoitteet.
Lisää ohjeita
Saat lisää ohjeita näiden ongelmien diagnosointiin ja korjaamiseen Verkkovastaavien ohjekeskusteluryhmästä.