Como usar a ferramenta Testar robots.txt

A ferramenta Testar robots.txt mostra se o arquivo robots.txt bloqueia o acesso de rastreadores da Web do Google a URLs específicos no seu site. Por exemplo, é possível usar essa ferramenta para testar se o rastreador Googlebot-Image pode rastrear o URL de uma imagem que você quer bloquear nos resultados do Imagens do Google.

 

Abrir a ferramenta Testar robots.txt

 

É possível enviar um URL à ferramenta Testar robots.txt. A ferramenta funciona da mesma forma que o Googlebot para conferir o arquivo robots.txt, além de verificar se o URL foi bloqueado.

Testar seu arquivo robots.txt

1. Abra a ferramenta de testes do site e role o código do robots.txt para baixo até encontrar os avisos de sintaxe e erros de lógica destacados. O número de avisos de sintaxe e erros de lógica é mostrado logo abaixo do editor.
2. Digite o URL de uma página do seu site na caixa de texto na parte inferior da página.
3. Selecione o user agent que você quer simular na lista suspensa à direita da caixa de texto.
4. Clique no botão TESTAR para acessar o teste.
5. Confira se no botão TESTAR aparece o texto ACEITO ou BLOQUEADO para descobrir se o URL inserido foi bloqueado para os rastreadores da Web do Google.
6. Edite o arquivo na página e teste novamente, se necessário. As mudanças feitas na página não serão salvas no seu site. Para isso, veja a próxima etapa.
7. Copie as mudanças no arquivo robots.txt do site. Essa ferramenta não faz alterações ao arquivo no seu site, somente faz testes em uma cópia hospedada na própria ferramenta.

Limitações da ferramenta Testar robots.txt:

• A ferramenta só funciona com propriedades de prefixo de URL, e não com propriedades do domínio.
• As mudanças feitas no editor da ferramenta não são salvas automaticamente no servidor da Web. É necessário copiar e colar o conteúdo do editor no arquivo robots.txt armazenado no servidor.
• A ferramenta Testar robots.txt testa seu arquivo robots.txt somente com user agents do Google ou rastreadores da Web como o Googlebot. Não é possível prever como outros rastreadores da Web interpretarão o arquivo robots.txt.