Sobre o robots.txt

Teste seu arquivo robots.txt com a ferramenta Testar robots.txt

A ferramenta Testar robots.txt mostra se o arquivo robots.txt bloqueia o acesso de rastreadores da Web do Google a URLs específicos em seu site. Por exemplo, é possível usar essa ferramenta para testar se o rastreador Googlebot-Image pode rastrear o URL de uma imagem que você deseja bloquear da Pesquisa de Imagens do Google.

 

Abrir a ferramenta Testar robots.txt

 

É possível enviar um URL à ferramenta Testar robots.txt. A ferramenta funciona da mesma forma que o Googlebot para verificar o arquivo robots.txt, além de verificar se o URL foi bloqueado.

Teste seu arquivo robots.txt

  1. Abra a ferramenta de testes para seu site e role o código do robots.txt para baixo até encontrar os avisos de sintaxe e erros de lógica destacados. O número de avisos de sintaxe e erros de lógica é mostrado logo abaixo do editor. 
  2. Digite o URL de uma página do seu site na caixa de texto na parte inferior da página.
  3. Selecione o user agent que deseja simular na lista suspensa à direita da caixa de texto.
  4. Clique no botão TESTAR para acessar o teste.
  5. Verifique se no botão TESTAR aparece o texto ACEITO ou BLOQUEADO para descobrir se o URL inserido foi bloqueado para os rastreadores da Web do Google.
  6. Edite o arquivo na página e teste novamente, se necessário. As alterações feitas na página não serão salvas no seu site. Para isso, veja a próxima etapa.
  7. Copie as alterações no seu arquivo robots.txt do seu site. Essa ferramenta não faz alterações ao arquivo no seu site, somente faz testes em uma cópia hospedada na própria ferramenta.

Limitações da ferramenta Testar robots.txt:

  • As alterações feitas no editor da ferramenta não são salvas automaticamente no servidor da Web. É necessário copiar e colar o conteúdo do editor no arquivo robots.txt armazenado no servidor.
  • A ferramenta Testar robots.txt testa seu arquivo robots.txt somente com user agents do Google ou rastreadores da Web como o Googlebot. Não é possível prever como outros rastreadores da Web interpretarão seu arquivo robots.txt.
Este artigo foi útil para você?
Como podemos melhorá-lo?