El robot de Google ha detectado un número muy elevado de URLs en tu sitio. Como consecuencia, podría rastrear de forma innecesaria un gran número de URLs diferentes que dirigen a contenido similar o idéntico, o partes no deseadas de tu sitio. En estas situaciones, el robot de Google puede consumir una cantidad de ancho de banda muy superior a la necesaria o dejarse parte del contenido del sitio sin indexar.
Causas habituales de este problema
- Parámetros problemáticos en la URL. Por ejemplo, los IDs de sesión (o los métodos de ordenación) pueden crear cantidades desorbitadas de duplicados y un mayor número de URLs. Del mismo modo, un calendario generado de forma dinámica podría generar enlaces a fechas anteriores y futuras sin restricciones en cuanto a las fechas de inicio ni de finalización.
- Combinaciones de filtros en un conjunto de elementos. Muchos sitios ofrecen distintas vistas del mismo conjunto de elementos o resultados de búsqueda. La combinación de filtros (por ejemplo, mostrarme hoteles que estén en la playa, que permitan perros y que incluyan gimnasio) puede dar lugar a un gran número de URLs, que en su mayoría son redundantes.
- Generación dinámica de documentos debido a la presencia de contadores, marcas de tiempo o anuncios.
- Enlaces relativos rotos. A menudo, los enlaces relativos rotos pueden causar espacios infinitos. Este problema suele producirse debido a la repetición de elementos de rutas. Por ejemplo:
http://www.example.com/index.shtml/discuss/category/school/061121/ html/interview/category/health/070223/html/category/business/070302 /html/category/community/070413/html/FAQ.htm
Pasos para resolver este problema
Para impedir que haya problemas con la estructura de las URLs, te recomendamos que tengas en cuenta las siguientes consideraciones:
- Siempre que sea posible, quita parámetros innecesarios de las URLs para acortarlas. Utiliza la herramienta de manejo de parámetros para indicar a Google qué parámetros de URL puede ignorar. Asegúrate de utilizar estas URLs simplificadas en todos los enlaces internos. Te recomendamos que redirijas las URLs que sean innecesariamente largas a sus versiones más cortas o que uses el elemento de enlace rel="canonical" para especificar la URL canónica más corta de preferencia.
- Si es posible, usa cookies en vez de IDs de sesión en las URLs. Consulta más información en nuestras directrices sobre URLs.
- Si tu sitio tiene un calendario infinito, añade un atributo nofollow a los enlaces que llevan a páginas de calendario futuras creadas dinámicamente.
- Comprueba si tu sitio contiene enlaces relativos rotos.
- Si no puedes seguir ninguna de las recomendaciones anteriores, puedes usar un archivo robots.txt para bloquear el acceso del robot de Google a las URLs problemáticas. Normalmente, deberías bloquear las URLs dinámicas, como las que generan resultados de búsqueda o las que pueden crear espacios infinitos, como calendarios. En el archivo robots.txt, puedes bloquear fácilmente un gran número de URLs mediante el uso de comodines.
