Pesquisa
Limpar pesquisa
Fechar pesquisa
Google Apps
Menu principal
true

Rastreadores do Google

Ver quais robôs o Google usa para rastrear a Web

"Rastreador" é um termo genérico para qualquer programa (como um robô ou indexador) usado para detectar e examinar sites automaticamente seguindo links de uma página a outra. O principal rastreador do Google se chama Googlebot. Esta tabela lista informações sobre os rastreadores mais comuns do Google que podem aparecer em seus registros de referência e como eles devem ser especificados no robots.txt, nas metatags de robots e nas diretivas de HTTP X-Robots-Tag.

Rastreador Token do user agent String completa do user agent nos arquivos de registros do site
APIs-Google APIs-Google APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
Google AdSense Mediapartners-Google
Mediapartners (Googlebot)
Mediapartners-Google

AdsBot Mobile Web Android

Verifica a qualidade dos anúncios nas páginas da Web no Android.

AdsBot-Google-Mobile Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

Verifica a qualidade dos anúncios nas páginas da Web no iPhone.

AdsBot-Google-Mobile Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

Verifica a qualidade dos anúncios nas páginas da Web em computadores.

AdsBot-Google AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot Images Googlebot-Image (Googlebot) Googlebot-Image/1.0
Googlebot News Googlebot-News (Googlebot) Googlebot-News
Googlebot Video Googlebot-Video (Googlebot) Googlebot-Video/1.0

Googlebot

Esta versão é usada para computadores.

Googlebot

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

outra opção (pouco usada):

Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot

Esta versão é usada para smartphones.

Googlebot

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense

Mediapartners-Google

ou

Mediapartners (Googlebot)

(Vários tipos de dispositivos móveis) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobile Apps Android

Verifica a qualidade dos anúncios nas páginas da Web em aplicativos Android. Segue as regras de robôs AdsBot-Google.

AdsBot-Google-Mobile-Apps AdsBot-Google-Mobile-Apps

robots.txt

Nos casos em que diversos user agents são reconhecidos no arquivo robots.txt, o Google seguirá o mais específico. Se você desejar que o Google seja capaz de rastrear suas páginas, um arquivo robots.txt não será necessário. Se você desejar bloquear ou permitir que todos os rastreadores do Google acessem seu conteúdo, será possível fazer isso especificando o Googlebot como user agent. Por exemplo, se você desejar que todas as suas páginas apareçam na Pesquisa Google e que os anúncios do Google AdSense apareçam em suas páginas, um arquivo robots.txt não será necessário. De modo semelhante, se você desejar bloquear algumas páginas do Google de uma só vez, o bloqueio do user agent Googlebot também bloqueará todos os outros user agents do Google.

Se você desejar um controle maior, será possível ser mais específico. Por exemplo, talvez você queira que todas as suas páginas apareçam na Pesquisa Google, mas que as imagens em seu diretório pessoal não sejam rastreadas. Nesse caso, use o robots.txt para proibir que o user agent Googlebot-image rastreie os arquivos no seu /diretório pessoal (enquanto permite que o Googlebot rastreie todos os arquivos) desta forma:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal
Para usar outro exemplo, digamos que você queira anúncios em todas as suas páginas, mas essas páginas não apareçam na Pesquisa Google. Você bloquearia o Googlebot, mas permitiria o Mediapartners-Google desta forma:
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

metatag de robots

Algumas páginas usam várias metatags robots para especificar diretivas para diferentes rastreadores desta forma:

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

Nesse caso, o Google usará a soma das diretivas negativas, e o Googlebot seguirá as diretivas noindex e nofollow. Informações mais detalhadas sobre como controlar o rastreamento e a indexação do seu site pelo Google.

Este artigo foi útil para você?
Como podemos melhorá-lo?