Varmista, ettei Googlebotia ole estetty

Jos Googlebotia estetään käyttämästä sivustoa, Googlebot ei pysty indeksoimaan sivuston sisältöä ja sivuston sijoitus Googlen hakutuloksissa voi heikentyä. Monet verkkovastaavat valitettavasti estävät vahingossa Googlebotia käyttämästä sivustoaan, eivätkä välttämättä ole tästä tietoisia, koska Googlebotin täytyy päästä käyttämään sivustoa noutaakseen robots.txt-tiedoston ja noudattaakseen siinä määritettyjä ohjeita.

Kun Google havaitsee tämän ongelman, voimme ilmoittaa Webmaster Toolsin avulla vahvistetuille sivuston omistajille, että Googlebot on estetty.

Googlebotin estämisestä johtuvien ongelmien diagnosointi

Jos epäilet, että Googlebot ei pääse käyttämään sivustoasi, tai jos saat viestin, jossa ilmoitetaan kyseisestä ongelmasta, tarkista seuraavat Verkkovastaavan työkaluissa:

  • Indeksointivirheet. Tällä sivulla näytetään virheet, jotka Googlebot kohtasi indeksoidessaan sivustoasi.
  • Hae kuten Googlebot. Tällä sivulla voit pyytää Googlea indeksoimaan tietyn sivun ja näyttämään tulokset (ja virheet).

Saat lisätietoja ongelmista ja niiden ratkaisemisesta verkkovastaavien ohjekeskusteluryhmästä.

Yleisiä syitä

Tässä muutamia yleisiä syitä, miksi Googlebot ei välttämättä pääse käyttämään sivustoasi.

DNS-ongelmat

Emme saaneet yhteyttä DNS-palvelimeen sivuston avausyrityksen yhteydessä. Tämä voi johtua siitä, että palvelimesi ei ole käytössä, tai siitä, että verkkotunnuksesi DNS-reitityksessä on ongelmia.

Voit korjata ongelman varmistamalla, että DNS-palveluntarjoaja ei estä Googlebotia (mahdollisesti tahattomasti).

Palomuurit

Joissakin tapauksissa väärin määritetty palomuuri tai DoS-suojausjärjestelmä (joskus sivuston sisällönhallintajärjestelmä) estää Googlebotia indeksoimasta sivustoa. Suojausjärjestelmät ovat tärkeä osa hyvää sivuston ylläpitoa, ja ne on usein asetettu estämään automaattisesti epätavallisen korkeat palvelinpyyntöjen määrät. Googlebot tekee kuitenkin usein ihmiskäyttäjiä enemmän pyyntöjä, joten se voi laukaista suojausjärjestelmän. Tällöin Googlebotia estetään indeksoimasta sivustoasi.

Voit korjata ongelman tarkistamalla, mikä sivustosi infrastruktuurin osa estää Googlebotin ja poistamalla eston. Palomuuri ei välttämättä ole omassa hallinnassasi, joten saatat joutua keskustelemaan tästä verkkopalvelun tarjoajasi kanssa.

Tarkoituksellinen estäminen

Jotkut verkkovastaavat estävät Googlebotia käyttämästä sivustojaan tahallisesti, mahdollisesti yllä kuvatun palomuurin avulla. Näissä tapauksissa tarkoituksena ei yleensä ole koko Googlebotin estäminen vaan sivuston indeksoinnin hallinta. Tarkista tässä tapauksessa seuraavat:

Lisää ohjeita

Saat lisää ohjeita näiden ongelmien diagnosointiin ja korjaamiseen verkkovastaavien ohjekeskusteluryhmästä.