Antes do rastreamento das páginas do seu site, tentamos verificar o arquivo robots.txt para que as páginas bloqueadas não fossem rastreadas. No entanto, o servidor retornou um erro 5xx (inacessível) quando tentamos buscar o arquivo robots.txt. Adiamos o rastreamento para garantir que as páginas listadas no arquivo não sejam indexadas.
Talvez seu provedor de hospedagem esteja bloqueando o Googlebot ou haja um problema com a configuração do firewall.
Observação: se o conteúdo do arquivo robots.txt no navegador não for o mesmo que o Google vê, trabalhe com a empresa de hospedagem para remover as regras do servidor que talvez mostrem conteúdos diferentes do robots.txt para cada user agent.
