Cambiar la frecuencia de rastreo del robot de Google

Con frecuencia de rastreo, nos referimos al número de solicitudes por segundo que envía el robot de Google a tu sitio web cuando lo rastrea; por ejemplo, cinco solicitudes por segundo.

No puedes cambiar cada cuánto tiempo rastrea Google tu sitio web, pero si quieres que rastree contenido nuevo o actualizado, puedes solicitar que vuelva a rastrear tu sitio web.

Uso adecuado

Google determina mediante sofisticados algoritmos cuál es la velocidad óptima con la que rastrear un sitio web. Su objetivo es rastrear el mayor número posible de páginas de un sitio web en cada visita sin colapsar el ancho de banda del servidor.

Si Google envía demasiadas solicitudes por segundo a tu sitio web y ralentiza tu servidor, puedes limitar la velocidad con la que rastrea tu sitio web.

Puedes limitar la frecuencia de rastreo de los sitios web de nivel raíz; por ejemplo, www.example.com y http://subdominio.example.com. La frecuencia de rastreo que fijes será la máxima que podrá usar el robot de Google. No se garantiza que el robot de Google alcance esta frecuencia máxima.

Recomendamos que no fijes ninguna frecuencia de rastreo a menos que detectes problemas de carga en tu servidor causados por el robot de Google.

No puedes cambiar la frecuencia con la que se rastrean los sitios web que no estén en el nivel raíz, como www.example.com/carpeta.

Limitar la frecuencia de rastreo

  1. Abre la página Frecuencia de rastreo de tu propiedad.
    • Si se indica que la frecuencia de rastreo se considera óptima, solo puedes reducirla presentando una solicitud especial. La frecuencia de rastreo no se puede aumentar.
    • Si no es el caso, selecciona la opción que quieras e indica una frecuencia de rastreo, que será válida durante 90 días.

Limitar el rastreo en casos de emergencia

Si tu sitio web se rastrea con tanta frecuencia que tiene problemas de disponibilidad, puedes protegerlo siguiendo estos pasos:

  1. Averigua qué rastreador de Google está causando el problema. Consulta los registros de tu sitio web o utiliza el informe Estadísticas de rastreo.
  2. Para resolver el problema de inmediato con una solución a corto plazo, haz lo siguiente:
    • Si quieres una solución sencilla, bloquea con tu archivo robots.txt los user-agent que estén sobrecargando tu sitio web (googlebot, adsbot, etc.). No obstante, esto puede tardar hasta un día en aplicarse.
    • Si puedes detectar y responder a los aumentos de carga de forma dinámica, devuelve respuestas HTTP 5XX o 429 cuando tu servidor se acerque a su límite. Te recomendamos que no devuelvas ninguna de esas respuestas durante más de dos o tres días, porque entonces es posible que Google se lo tome como una señal de que debe rastrear tu sitio web con menos frecuencia a largo plazo.
  3. Cambia la frecuencia de rastreo de tu sitio web en la página Frecuencia de rastreo, si esta opción está disponible.
  4. Transcurridos dos o tres días, cuando Google haya cambiado la frecuencia de rastreo, podrás levantar las medidas que has tomado en el paso 1; es decir, quitar los bloqueos del archivo robots.txt o dejar de devolver esos códigos de error.
  5. Si recibes demasiados rastreos de AdsBot, puede que sea porque has creado demasiados objetivos para los anuncios dinámicos de búsqueda de tu sitio web mediante URL_Equals o feeds de páginas. Si tu servidor no tiene la capacidad necesaria para gestionar estos rastreos, debes limitar los objetivos de anuncios, añadir URLs en lotes pequeños o aumentar la capacidad de tu servidor. Ten en cuenta que AdsBot rastreará tus páginas cada dos semanas, por lo que deberás solucionar el problema o volverá a ocurrir.
  6. Si has limitado la frecuencia de rastreo en la página Frecuencia de rastreo, la frecuencia se ajustará automáticamente transcurridos 90 días.
¿Te ha resultado útil esta información?
¿Cómo podemos mejorar esta página?