A webhelyéhez tartozó oldalak feltérképezése előtt megpróbáltuk ellenőrizni a robots.txt fájlját, hogy megállapítsuk, a feltérképezésbe nem vettünk-e bele olyan oldalakat, amelyeket Ön kizárt a fájlban. Az Ön szervere azonban 5xx típusú (nem áll rendelkezésre) hibát küldött vissza, amikor megpróbáltuk lekérni a robots.txt fájlt. Mivel a feltérképezésből ki kell hagynunk a fájlban felsorolt oldalakat, elhalasztottuk a feltérképezési műveletet.
Előfordulhat, hogy tárhelyszolgáltatója blokkolja a Googlebotot, vagy probléma lehet a tűzfal konfigurációjával.
Megjegyzés: Ha a robots.txt fájl tartalma az Ön böngészőjében eltér a Google által látottaktól, a tárhelyszolgáltatóval együttműködve távolítsa el azokat a szerverszabályokat, amelyek eltérő robots.txt tartalmat jeleníthetnek meg a különböző felhasználói ügynökök számára.
