Voordat de pagina's van je site worden gecrawld, wordt het robots.txt-bestand gecheckt om ervoor te zorgen dat er geen pagina's worden gecrawld die je automatisch hebt geblokkeerd. Je server heeft echter een 5xx-fout (niet bereikbaar) geretourneerd toen we probeerden je robots.txt-bestand op te halen. We hebben onze crawl uitgesteld om te voorkomen dat we pagina's crawlen die in het bestand staan.
Het is mogelijk dat je hostingprovider Googlebot blokkeert, of dat er een probleem is met de configuratie van de firewall.
Opmerking: Als de content van het robots.txt-bestand in je browser anders is dan wat Google ziet, werk je samen met je hostingbedrijf om serverregels te verwijderen waardoor verschillende robots.txt-content aan verschillende user-agents kan worden getoond.
