Yritimme tarkistaa käyttämäsi robots.txt-tiedoston ennen sivustosi sivujen indeksoimista siltä varalta, että haluaisit jättää joitakin sivuja indeksoinnin ulkopuolelle. Palvelimesi palautti kuitenkin 5xx (ei yhteyttä) -virheen yrittäessämme noutaa robots.txt-tiedostoasi. Olemme lykänneet indeksointia varmistaaksemme, että emme indeksoi kyseisessä tiedostossa olevia sivuja.
Verkkopalvelun tarjoajasi voi estää Googlebotin, tai palomuurin asetukset on voitu määrittää virheellisesti.
Huom. Jos Googlelle näkyvä robots.txt-tiedoston sisältö poikkeaa selaimessasi näkyvästä sisällöstä, ota yhteyttä hosting-palveluntarjoajaan ja poista kaikki palvelinsäännöt, jotka saattavat näyttää erilaista robots.txt-sisältöä eri käyttäjäagenteille.