Cambiar la frecuencia de rastreo del robot de Google

Con frecuencia de rastreo, nos referimos al número de solicitudes por segundo que envía el robot de Google a tu sitio web cuando lo rastrea; por ejemplo, cinco solicitudes por segundo.

No puedes cambiar cada cuánto tiempo rastrea Google tu sitio web, pero si quieres que rastree contenido nuevo o actualizado, puedes solicitar que vuelva a rastrear tu sitio web.

Uso adecuado

Google determina mediante sofisticados algoritmos cuál es la velocidad óptima con la que rastrear un sitio web. Su objetivo es rastrear el mayor número posible de páginas de un sitio web en cada visita sin colapsar el ancho de banda del servidor.

Si Google envía demasiadas solicitudes por segundo a tu sitio web y ralentiza tu servidor, puedes limitar la velocidad con la que rastrea tu sitio web.

Puedes limitar la frecuencia de rastreo de los sitios web de nivel raíz; por ejemplo, www.example.com y http://subdominio.example.com. La frecuencia de rastreo que fijes será la máxima que podrá usar el robot de Google. No se garantiza que el robot de Google alcance esta frecuencia máxima.

Recomendamos que no fijes ninguna frecuencia de rastreo a menos que detectes problemas de carga en tu servidor causados por el robot de Google.

No puedes cambiar la frecuencia con la que se rastrean los sitios web que no estén en el nivel raíz, como www.example.com/carpeta.

Limitar la frecuencia de rastreo

1. Abre la página Frecuencia de rastreo de tu propiedad.
   • Si se indica que la frecuencia de rastreo se considera óptima, solo puedes reducirla presentando una solicitud especial. La frecuencia de rastreo no se puede aumentar.
   • Si no es el caso, selecciona la opción que quieras e indica una frecuencia de rastreo, que será válida durante 90 días.

Limitar el rastreo en casos de emergencia

Si tu sitio se rastrea con tanta frecuencia que tiene problemas de disponibilidad, puedes protegerlo siguiendo estos pasos:

1. Averigua qué rastreador de Google está causando el problema. Consulta los registros de tu sitio web o utiliza el informe Estadísticas de rastreo.
2. Para resolver el problema de inmediato con una solución a corto plazo, haz lo siguiente:
   • Si buscas una solución sencilla, bloquea con el archivo robots.txt el user-agent que esté sobrecargando tu sitio (el robot de Google, adsbot, etc.). No obstante, esta solución puede tardar hasta un día en aplicarse. Te recomendamos que no mantengas este bloqueo durante demasiado tiempo, ya que puede afectar al rastreo de tu sitio a largo plazo.
   • Si puedes detectar y responder a los aumentos de carga de forma dinámica, devuelve respuestas HTTP 503 o 429 cuando tu servidor se acerque a su límite. Te recomendamos que no devuelvas ninguna de esas respuestas durante más de dos o tres días, porque Google se lo puede tomar como una señal de que debe rastrear tu sitio con menos frecuencia a largo plazo.
3. Cambia la frecuencia de rastreo de tu sitio en la página Frecuencia de rastreo, si esta opción está disponible.
4. Dos o tres días después, cuando la frecuencia de rastreo de Google se haya adaptado, puedes quitar los bloqueos de robots.txt o dejar de devolver códigos de error 503 o 429.
5. Si recibes demasiados rastreos de AdsBot, puede que sea porque has creado demasiados objetivos para los anuncios dinámicos de búsqueda de tu sitio web mediante URL_Equals o feeds de páginas. Si tu servidor no tiene la capacidad necesaria para gestionar estos rastreos, debes limitar los objetivos de anuncios, añadir URLs en lotes pequeños o aumentar la capacidad de tu servidor. Ten en cuenta que AdsBot rastreará tus páginas cada dos semanas, por lo que deberás solucionar el problema o volverá a ocurrir.
6. Si has limitado la frecuencia de rastreo en la página Frecuencia de rastreo, la frecuencia volverá a ajustarse automáticamente al cabo de 90 días.