Le nombre d'URL détectées par Googlebot sur votre site est extrêmement élevé. Googlebot risque d'explorer inutilement un grand nombre d'URL distinctes, pointant vers des contenus identiques ou similaires, ou bien d'explorer des pages non souhaitées de votre site. Dans ce cas, il est possible que Googlebot utilise beaucoup plus de bande passante que nécessaire ou ne parvienne pas à indexer tout le contenu de votre site.
Causes les plus fréquentes à l'origine de ce problème
- Paramètres problématiques dans l'URL : les ID de session ou les méthodes de tri, par exemple, peuvent générer une quantité considérable de doublons et augmenter le nombre d'URL. De même, un calendrier généré de manière dynamique peut créer des liens vers des dates ultérieures et antérieures sans appliquer de limitation sur les dates de début et de fin.
- Filtrage supplémentaire d'un ensemble d'éléments : de nombreux sites offrent la possibilité d'afficher un même ensemble d'éléments ou de résultats de recherche de différentes manières. Lorsque vous combinez des filtres (par exemple, vous recherchez des hôtels qui sont sur la plage, acceptent les animaux ET ont une salle de sport), il est possible que vous obteniez une liste très longue d'URL en majorité redondantes.
- Génération dynamique de documents à partir de compteurs, d'horodatages ou de publicités.
- Liens associés non fonctionnels : ces liens sont souvent à l'origine des espaces infinis. Ce problème survient généralement à cause de portions de chemin d'accès répétées. Exemple :
http://www.example.com/index.shtml/discuter/catégorie/école/061121/html/entretien/catégorie/santé/070223/html/catégorie/commerce/070302/html/catégorie/communauté/070413/html/FAQ.htm
Solutions permettant de résoudre ce problème
Pour éviter tout problème au niveau de la structure des URL, nous vous recommandons de suivre les conseils ci-après :
- Dans la mesure du possible, réduisez la longueur de vos URL en supprimant les paramètres superflus. Utilisez l'outil de gestion des paramètres pour indiquer quels paramètres d'URL Google peut ignorer de façon sécurisée. Veillez ensuite à utiliser ces URL nettoyées pour tous les liens internes. Pensez à rediriger les URL inutilement longues vers leur version la plus claire ou à utiliser l'élément link rel="canonical" pour spécifier l'URL canonique plus courte à utiliser.
- Évitez autant que possible d'insérer des identifiants de session dans les URL. Remplacez-les par des cookies. Pour en savoir plus, consultez nos consignes liées aux URL.
- Si votre site dispose d'un calendrier infini, ajoutez l'attribut nofollow aux liens permettant d'accéder aux futures pages de calendrier créées de façon dynamique.
- Vérifiez que votre site ne comporte aucun lien associé non fonctionnel.
- Si aucune des solutions ci-dessus n'est possible, envisagez d'utiliser un fichier robots.txt pour empêcher Googlebot d'accéder aux URL problématiques. En général, vous devriez envisager de bloquer les URL dynamiques telles que les URL qui génèrent des résultats de recherche ou qui peuvent créer des espaces infinis, comme les calendriers. L'utilisation de caractères génériques dans votre fichier robots.txt vous permettra de bloquer rapidement un nombre important d'URL.
