Før vi crawlede siderne på dit website, forsøgte vi at tjekke robots.txt-filen for at sikre, at vi ikke crawlede sider, du havde blokeret i filen. Din server returnerede en 5xx-fejl (ikke tilgængelig), da vi forsøgte at hente din robots.txt-fil. Vi har udskudt gennemgangen for at sikre, at vi ikke crawler sider, der er angivet i den pågældende fil.
Din webhost blokerer muligvis Googlebot, eller der kan være et problem med konfigurationen af webhostens firewall.
Bemærk! Hvis indholdet af robots.txt-filen er anderledes i din browser, end det Google ser, kan du samarbejde med din webhost om at fjerne eventuelle serverregler, der kan vise forskelligt robots.txt-indhold til forskellige brugeragenter.