Rastreadores de Google

Descubre qué robots utiliza Google para rastrear la Web

El término "rastreador" es genérico para cualquier programa (por ejemplo, un robot o una araña) utilizado para detectar y analizar automáticamente sitios web siguiendo enlaces entre páginas web. El rastreador principal de Google se llama robot de Google. En esta tabla se incluye información sobre los rastreadores habituales de Google que pueden aparecer en tus registros de URLs de referencia. También se muestra cómo deben indicarse en los archivos robots.txt, las metaetiquetas "robots" y las directivas HTTP X‑Robots‑Tag.

En la tabla que aparece a continuación, los valores de la columna Tokens de agente de usuario deben incluirse en la línea User‑agent: de los archivos robots.txt para permitir el rastreador en cuestión. Algunos rastreadores pueden permitirse con varios tokens, tal como se indica en la tabla; en estos casos, solo es necesario incluir uno de los tokens.

Rastreador Tokens de agente de usuario (que se utilizan en robots.txt) Cadena de agente de usuario completa (tal como aparece en los archivos de registro del sitio web)
APIs-Google
  • APIs-Google
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense
  • Mediapartners-Google
Mediapartners-Google

AdsBot para Web móvil en Android

Comprueba la calidad de los anuncios ubicados en las páginas web que se muestran en un dispositivo Android.

  • AdsBot-Google-Mobile
Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot para Web móvil

Comprueba la calidad de los anuncios ubicados en las páginas web que se muestran en un iPhone.

  • AdsBot-Google-Mobile
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

Comprueba la calidad de los anuncios ubicados en las páginas web que se muestran en un ordenador.

  • AdsBot-Google
AdsBot-Google (+http://www.google.com/adsbot.html)
Robot de Google para Imágenes
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
Robot de Google para Noticias
  • Googlebot-News
  • Googlebot
Googlebot-News
Robot de Google para Vídeo
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0

Robot de Google

Ordenadores

  • Googlebot

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

o bien (se utiliza con poca frecuencia)

Googlebot/2.1 (+http://www.google.com/bot.html)

Robot de Google

Smartphones

  • Googlebot

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

AdSense para dispositivos móviles
  • Mediapartners-Google
(En varios tipos de dispositivos móviles) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Aplicaciones móviles Android

Comprueba la calidad de los anuncios publicados en páginas de aplicaciones Android. Sigue las reglas de robots de AdsBot-Google.

  • AdsBot-Google-Mobile-Apps
AdsBot-Google-Mobile-Apps

Agentes de usuario en archivos robots.txt

Si en un archivo robots.txt se reconocen varios agentes de usuario, Google seguirá los más concretos. Si quieres que todos los rastreadores de Google puedan rastrear tus páginas, no es necesario que añadas ningún archivo robots.txt. Si quieres bloquear o permitir el acceso de todos los rastreadores de Google a parte de tu contenido, especifica Googlebot como agente de usuario. Por ejemplo, si quieres que todas tus páginas aparezcan en la Búsqueda de Google y que se muestren anuncios de AdSense en ellas, no necesitas un archivo robots.txt. Del mismo modo, si quieres evitar que los rastreadores de Google accedan a algunas páginas, al bloquear Googlebot como agente de usuario, también se bloquearán todos los demás agentes de usuario de Google.

No obstante, si quieres realizar un control más preciso, puedes aplicar una restricción más específica. Por ejemplo, si quieres que todas tus páginas aparezcan en la Búsqueda de Google, pero no quieres que se rastreen imágenes de tu directorio personal, puedes configurar del siguiente modo el archivo robots.txt para evitar que el agente de usuario Googlebot-Image rastree los archivos de tu directorio /personal (pero permitir que Googlebot rastree todos los archivos):

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal
Veamos otro ejemplo: si quieres que se muestren anuncios en todas tus páginas, pero no quieres que esas páginas aparezcan en la Búsqueda de Google, deberías bloquear Googlebot y permitir Mediapartners-Google, tal como se muestra a continuación:
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Agentes de usuario en metaetiquetas "robots"

En algunas páginas pueden incluirse varias etiquetas meta "robots" para indicar directivas a rastreadores distintos, tal como se muestra a continuación:

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

En ese caso, Google utilizará la suma de las directivas negativas, y el robot de Google seguirá las directivas noindex y nofollow. Obtén más información sobre cómo controlar el modo en que Google rastrea e indexa tu sitio web.

¿Te ha sido útil este artículo?
¿Cómo podemos mejorar esta página?