Pesquisa
Limpar pesquisa
Fechar pesquisa
Google Apps
Menu principal

Bloqueie URLs com o robots.txt

Saiba mais sobre os arquivos robots.txt

Um robots.txt é um arquivo na raiz do seu site. O arquivo indica as partes do site que você não deseja que sejam acessadas por indexadores de mecanismos de pesquisa. O arquivo usa o Protocolo de Exclusão de Robôs padrão, um pequeno conjunto de comandos que podem ser usados para indicar o acesso ao site por seção e tipos específicos de rastreadores da Web (como rastreadores de dispositivos móveis ou computadores).

Para que serve o robots.txt?

Arquivos que não são de imagem

No caso de arquivos que não são de imagem (ou seja, páginas da Web), o robots.txt deverá ser usado somente para controlar o tráfego de rastreamento. De forma geral, isso serve para evitar que seu servidor fique sobrecarregado com o rastreador do Google e que o orçamento seja desperdiçado rastreando páginas irrelevantes ou similares no seu site. Não use o robots.txt para ocultar suas páginas da Web dos resultados da Pesquisa Google. É possível que suas páginas sejam indexadas por meio de outras que levem a elas, mesmo com o arquivo robots.txt. Para bloquear a exibição de suas páginas nos resultados da pesquisa, use outro método, como a proteção por senha ou as diretivas ou tags noindex.

Arquivos de imagem

O robots.txt impede que arquivos de imagem sejam exibidos nos resultados da Pesquisa Google. No entanto, ele não impede que outras páginas ou usuários tenham links para sua imagem.

Arquivos de recursos

É possível usar o robots.txt para bloquear arquivos de imagem, script ou estilo menos importantes, caso a página possa ser carregada sem esses recursos e sem perdas significativas. No entanto, se a falta desses recursos dificultar o trabalho do rastreador do Google, é melhor não bloqueá-los, já que isso pode prejudicar a análise das páginas que dependam desses recursos.

Entenda as limitações do robots.txt

Antes de criar seu robots.txt, é importante conhecer os riscos deste método de bloqueio de URL. Em alguns casos, talvez você queira considerar outros mecanismos para garantir que seus URLs não sejam encontrados facilmente na Web.

  • As instruções do robots.txt são somente diretivas

    As instruções nos arquivos robots.txt não podem executar o comportamento de rastreador no site. Em vez disso, essas instruções atuam como diretivas aos rastreadores que acessam o site. Embora o Googlebot e outros rastreadores da Web confiáveis sigam as instruções de um arquivo robots.txt, elas podem não ser seguidas por outros rastreadores. Por isso, caso você queira manter informações seguras de rastreadores da Web, é recomendado o uso de outros métodos de bloqueio, como a proteção por senha de arquivos privados no seu servidor.
  • Rastreadores diferentes interpretam a sintaxe de maneiras distintas

    Embora os rastreadores da Web confiáveis sigam as diretivas de um arquivo robots.txt, cada rastreador pode interpretá-las de maneira diferente. É importante saber a sintaxe apropriada para atender a diferentes rastreadores da Web, pois alguns podem não entender todas as instruções.
  • As diretivas do robots.txt não podem impedir que outros sites façam referência aos seus URLs

    Embora o Google não rastreie nem indexe o conteúdo bloqueado pelo robots.txt, ainda podemos encontrar e indexar um URL desabilitado a partir de outros locais da Web. Como resultado, o endereço URL e talvez outras informações disponíveis publicamente, como texto âncora em links para o site, ainda podem aparecer nos resultados de pesquisa do Google. Para impedir totalmente a exibição de um URL nos resultados da Pesquisa Google, use outros métodos de bloqueio, como a proteção por senha dos arquivos no servidor ou a metatag ou o cabeçalho de resposta noindex.
Observação: combinar várias diretivas de indexação e rastreamento pode fazer com que algumas delas anulem outras. Saiba como configurar essas diretivas de maneira adequada lendo a seção sobre como combinar o rastreamento com a indexação / veiculação de diretivas na documentação do Google Developers.
Este artigo foi útil para você?