Erros de acesso negado

O que é um erro de acesso negado?

Em geral, o Google detecta conteúdos seguindo links de uma página para outra. Para rastrear uma página, o Googlebot deve poder acessá-la. Se você vir erros do tipo "Acesso negado" não esperados, pode ser pelas seguintes razões:

• O Googlebot não pode acessar um URL em seu site, pois o site exige que os usuários façam login para visualizar todos os conteúdos importantes.
• O arquivo robots.txt impede que o Google acesse todo o site ou URLs e diretórios individuais.
• O servidor exige que os usuários sejam autenticados usando um proxy ou nosso provedor de hospedagem pode estar bloqueando o acesso do Google ao site.

Como lidar com erros de Acesso negado

• Teste se robots.txt funciona como esperado e não bloqueia o Google. A ferramenta Testar robots.txt  permite ver exatamente como o Googlebot interpreta o conteúdo do arquivo robots.txt. O user agent do Google é o Googlebot.
• Use Buscar como Google para entender exatamente como seu site aparece para o Googlebot. Isso pode ser muito útil para a solução de problemas com o conteúdo ou relevância do seu site nos resultados de pesquisa.