Búsqueda
Borrar búsqueda
Cerrar búsqueda
Aplicaciones de Google
Menú principal

Robot de Google

El robot de Google es el robot de rastreo web de Google (en ocasiones, también denominado "araña"). El rastreo es el proceso mediante el cual el robot de Google descubre páginas nuevas y actualizadas y las añade al índice de Google.

Utilizamos una enorme cantidad de ordenadores para obtener (o "rastrear") miles de millones de páginas de la Web. El robot de Google utiliza un proceso de rastreo algorítmico: a través de programas informáticos se determinan los sitios web que hay que rastrear, la frecuencia y el número de páginas que hay que explorar en cada uno de ellos.

El proceso de rastreo del robot de Google comienza con una lista de URL de páginas web generada a partir de procesos anteriores de rastreo y se amplía con los datos de los sitemaps que ofrecen los webmasters. A medida que el robot de Google visita cada uno de esos sitios web, detecta enlaces (SRC y HREF) en sus páginas y los añade a la lista de páginas que debe rastrear. Los sitios web nuevos, los cambios en los existentes y los enlaces obsoletos se detectan y se utilizan para actualizar el índice de Google.

Para webmasters: el robot de Google y tu sitio

Cómo accede el robot de Google a tu sitio

De media, el robot de Google no suele acceder a la mayoría de los sitios más de una vez cada pocos segundos. Sin embargo, a causa de retrasos en la red, es posible que el porcentaje parezca ligeramente superior en períodos cortos de tiempo.

El robot de Google está diseñado para distribuirse en varios equipos con el fin de mejorar el rendimiento y ajustar la escala a medida que la Web se desarrolla. Además, para reducir el uso del ancho de banda, muchos de los rastreadores se ejecutan en equipos ubicados cerca de los sitios web que indexan en la red. Por tanto, es posible que tus registros muestren visitas de varios equipos a la página google.com, en todos los casos con el robot de Google como user-agent. Nuestro objetivo consiste en rastrear el mayor número posible de páginas de tu sitio en cada visita sin colapsar el ancho de banda de tu servidor. Solicita que se modifique la frecuencia de rastreo.

Bloquear el acceso del robot de Google al contenido de tu sitio

Resulta prácticamente imposible no publicar enlaces a un servidor web para mantenerlo en secreto. En el momento en que un usuario utilice un enlace de tu servidor "secreto" para acceder a otro servidor web, tu URL "secreta" podrá mostrarse en la etiqueta de referencia, y el otro servidor web podrá almacenarla y publicarla en su registro de referencia. Además, la Web contiene un gran número de enlaces obsoletos y rotos. Siempre que se publique un enlace incorrecto a tu sitio o que los enlaces no se actualicen correctamente para reflejar los cambios realizados en tu servidor, el robot de Google tratará de descargar un enlace incorrecto de tu sitio.

Dispones de varias opciones para evitar que el robot de Google rastree el contenido de tu sitio, incluido el uso del archivo robots.txt para bloquear el acceso a los archivos y a los directorios de tu servidor.

Es posible que el robot de Google tarde un tiempo en detectar los cambios una vez que haya creado el archivo robots.txt. Si el robot de Google sigue rastreando contenido bloqueado en el archivo robots.txt, comprueba que la ubicación de este archivo sea correcta. Debe estar en el directorio principal del servidor (por ejemplo, www.example.com/robots.txt). Si lo colocas en un subdirectorio, no ocurrirá nada.

Si solo quieres evitar que se muestren en el registro de tu servidor web mensajes de error en los que se indique que no se puede encontrar el archivo, crea un archivo vacío con el nombre "robots.txt". Para evitar que el robot de Google siga los enlaces a una página de tu sitio, utiliza la metaetiqueta nofollow. Para evitar que el robot de Google siga un enlace individual, añade el atributo rel="nofollow" al enlace.

A continuación se indican otros consejos:

  • Comprueba si tu archivo robots.txt funciona correctamente. La herramienta Probar robots.txt de la página URL bloqueadas (en Estado) te permite ver exactamente cómo el robot de Google interpretará el contenido de tu archivo robots.txt. El user-agent de Google se llama precisamente Googlebot.
  • La herramienta Explorar como Google de Search Console te ayuda a comprender exactamente cómo tu sitio se muestra para el robot de Google. Esta herramienta puede resultarte muy útil para solucionar problemas relacionados con el contenido del sitio o con su visibilidad en los resultados de búsqueda.

Asegurarte de que se pueda rastrear tu sitio

El robot de Google encuentra sitios siguiendo enlaces entre páginas. En la página Errores de rastreo de Search Console se muestran los problemas que ha encontrado el robot de Google al rastrear tu sitio. Te recomendamos que consultes con regularidad esos errores de rastreo para identificar los problemas relacionados con tu sitio web.

Si tu archivo robots.txt funciona correctamente, pero el sitio web no presenta tráfico, es posible que la posición del contenido en las páginas de resultados no sea buena por alguno de los motivos que se indican a continuación.

Problemas relacionados con spammers y con otros user-agents

Las direcciones IP que utiliza el robot de Google varían cada cierto tiempo. La mejor forma de identificar los accesos del robot de Google es utilizar el user-agent (Googlebot). Para comprobar si el robot que accede a tu servidor es realmente el robot de Google, realiza una petición de DNS inversa.

El robot de Google, al igual que el resto de robots de motor de búsqueda acreditados, respetará las directrices del archivo robots.txt, pero es posible que algunos spammers y otros usuarios malintencionados no las respeten. Informa de spam a Google.

Google también dispone de otros user-agents, como Feedfetcher (user-agent: Feedfetcher-Google). Las solicitudes de Feedfetcher proceden de acciones explícitas realizadas por usuarios que han añadido feeds a la página principal de Google (y no de rastreadores automatizados), por lo que Feedfetcher no sigue las directrices del archivo robots.txt. Para evitar que Feedfetcher rastree tu sitio web, configura tu servidor para que muestre mensajes de estado de error 404 o 410 o de cualquier otro tipo al user-agent Feedfetcher-Google. Obtén más información sobre Feedfetcher.

¿Te ha sido útil este artículo?
¿Cómo podemos mejorar esta página?