Acerca do motor de rastreio de conteúdo

Um motor de rastreio, também conhecido como spider ou bot, é o software que a Google utiliza para processar e indexar o conteúdo de páginas Web. O motor de rastreio de conteúdo visita o seu site para determinar o respetivo conteúdo de forma a fornecer anúncios relevantes.

Seguem-se alguns factos importantes sobre o motor de rastreio de conteúdo de que deve ter conhecimento:

• O relatório do motor de rastreio é atualizado semanalmente.
  O rastreio é efetuado automaticamente e não é possível aceitar pedidos para rastrear com mais frequência.
• O motor de rastreio de conteúdo é diferente do motor de rastreio do Google.
  Os dois motores de rastreio são independentes, mas ambos partilham uma cache. Esta é uma forma de evitar que ambos os motores de rastreio solicitem as mesmas páginas e, consequentemente, ajuda os publicadores a manter a largura de banda. O motor de rastreio da Search Console também é independente.
• Resolver problemas com o motor de rastreio de conteúdo não resolve problemas com o motor de rastreio do Google.
  Resolver problemas listados na página Acesso ao motor de rastreio não terá qualquer impacto no posicionamento nos resultados da pesquisa do Google. Para mais informações acerca da classificação do seu site no Google, analise o artigo do AdSense sobre como ser incluído nos resultados da pesquisa do Google.
• O motor de rastreio indexa por URL.
  O nosso motor de rastreio acederá a site.com e a www.site.com em separado. No entanto, o nosso motor de rastreio não contará site.com e site.com/#anchor em separado.
• O motor de rastreio não terá acesso a páginas ou diretórios proibidos por um ficheiro robots.txt.
  Os motores de rastreio Mediapartners do AdMob e do Google respeitam o ficheiro robots.txt. Se o ficheiro robots.txt proibir o acesso a determinadas páginas ou diretórios, estes não serão rastreados.
  Tenha em atenção que, se estiver a publicar anúncios em páginas em que o acesso de robôs está a ser interditado com a linha User-agent: *, o motor de rastreio de conteúdo continuará a rastrear essas páginas. Para impedir que o motor de rastreio de conteúdo aceda às suas páginas, tem de especificar User-agent: Mediapartners-Google no ficheiro robots.txt. Saiba mais. 
• O motor de rastreio apenas tenta aceder aos URLs em que estão implementadas as nossas etiquetas de anúncios.
  Apenas as páginas que apresentam anúncios Google deverão enviar pedidos para os nossos sistemas e ser rastreadas.
• O motor de rastreio tentará aceder às páginas que efetuam o redirecionamento.
  Quando tem "páginas originais" que redirecionam para outras páginas, o nosso motor de rastreio tem de aceder às páginas originais para determinar se estas efetuam um redirecionamento. Assim, a visita do motor de rastreio às páginas originais aparecerá nos registos de acesso.
• Rastrear novamente os sites
  Neste momento, não conseguimos controlar a frequência com que os nossos motores de rastreio indexam o conteúdo no seu site. O rastreio é efetuado de forma automática pelos nossos bots. Se efetuar alterações a uma página, poderá demorar até uma ou duas semanas para que as alterações sejam refletidas no nosso índice.