Sobre o rastreador de conteúdo

Um rastreador, também conhecido como indexador ou bot, é o software que o Google usa para processar e indexar o conteúdo de páginas da Web. Ele acessa seu site para identificar o conteúdo e exibir anúncios relevantes.

Veja algumas informações importantes sobre o rastreador de conteúdo:

• O relatório do rastreador é atualizado semanalmente.
  O rastreamento é executado de forma automática, e não aceitamos solicitações para rastreamento mais frequente.
• O rastreador de conteúdo é diferente do rastreador do Google.
  Eles são distintos, mas compartilham um cache. Assim, os rastreadores não solicitam as mesmas páginas, o que ajuda os editores a manter a largura de banda. Da mesma forma, o rastreador do Search Console é independente.
• A solução de problemas do rastreador de conteúdo não resolve problemas com o rastreamento do Google.
  Resolver os problemas indicados na página "Acesso do rastreador" não afetará sua posição nos resultados da pesquisa do Google. Para mais informações sobre a classificação do seu site no Google, consulte o artigo do Google AdSense sobre como aparecer nos resultados da pesquisa do Google.
• O rastreador faz a indexação por URL.
  Nosso rastreador acessará site.com e www.site.com separadamente. No entanto, ele não vai considerar site.com e site.com/#anchor de forma separada.
• O rastreador não acessará páginas ou diretórios proibidos por um arquivo robots.txt.
  Ambos os rastreadores do Google e do AdMob Mediapartners respeitam seu arquivo robots.txt. Se o arquivo robots.txt proíbe o acesso a determinados diretórios ou páginas, eles não serão rastreados.
  Se você estiver veiculando anúncios em páginas que têm o robô em execução com a linha User-agent: *, o rastreador de conteúdo continuará rastreando essas páginas. Para impedir que o rastreador de conteúdo acesse suas páginas, especifique User-agent: Mediapartners-Google no arquivo robots.txt. Saiba mais.
• O rastreador tentará acessar os URLs somente onde nossas tags de anúncio forem implementadas.
  Somente páginas que exibem anúncios do Google devem enviar solicitações para nossos sistemas e ser rastreadas.
• O rastreador tentará acessar páginas com redirecionamento.
  Se você usa "páginas originais" que redirecionam para outras páginas, nosso rastreador precisa acessar as páginas originais para identificar se existe um redirecionamento. Desse modo, a visita do nosso rastreador às páginas originais aparecerá nos seus registros de acesso.
• Novo rastreamento de sites.
  No momento, não é possível controlar a frequência com que nossos rastreadores indexam o conteúdo do seu site. O rastreamento é feito automaticamente pelos nossos bots. Se você fizer mudanças em uma página, poderá levar de uma a duas semanas para que o índice seja atualizado.