Le rapport "Statistiques sur l'exploration" fournit des informations sur l'historique d'exploration de Google pour votre site Web. Il inclut, par exemple, le nombre et la date des demandes, la réponse de votre serveur et les éventuels problèmes de disponibilité rencontrés. Vous pouvez utiliser ce rapport pour déterminer si Google rencontre des problèmes relatifs à la diffusion au moment de l'exploration de votre site.
Ce rapport s'adresse aux utilisateurs avancés. Si votre site comporte moins de 1 000 pages, ce rapport ne vous sera probablement d'aucune utilité, et vous ne devriez pas avoir à vous soucier de ce niveau d'exploration.
Ouvrir le rapport "Statistiques sur l'exploration"
C<span/>rawl Budget and the Crawl Stats report - Google Search Console Training
(Paramètres de la propriété) > Statistiques sur l'exploration.Premiers pas
Veuillez vous familiariser avec les informations suivantes avant d'utiliser ce rapport :
- Fonctionnement de la recherche Google
- Rubriques pour les utilisateurs avancés, en particulier les rubriques sur l'exploration, l'indexation et les sitemaps
- Rubriques diverses concernant la gestion de l'accès à votre site, y compris le blocage par le fichier robots.txt
- Si votre site comporte de nombreuses pages (plusieurs centaines de milliers de pages), voici un guide sur la gestion et le dépannage de votre budget d'exploration.
À propos des données
- Toutes les URL indiquées et comptabilisées correspondent aux URL demandées par Google. Les données ne sont pas attribuées aux URL canoniques, comme c'est le cas dans d'autres rapports.
- Si une URL comprend une redirection côté serveur, chaque demande de la chaîne de redirection est comptabilisée comme une demande distincte. Dès lors, si la page 1 redirige vers la page 2, qui redirige vers la page 3, et que Google demande la page 1, des demandes distinctes seront comptabilisées pour la page 1 (renvoie 301/302), la page 2 (renvoie 301/302) et la page 3 (renvoie 200, en principe). Notez que seules les pages du domaine actif sont affichées. Le type de fichier des réponses de redirection est "Autre type de fichier". Les redirections côté client ne sont pas comptabilisées.
- Les explorations qui ont été envisagées, mais pas effectuées parce que le fichier robots.txt n'était pas disponible, sont comptabilisées dans le nombre total d'explorations. Toutefois, il est possible que les informations fournies sur ces explorations soient limitées. En savoir plus
- Ressources et champ d'application :
- Toutes les données sont limitées au domaine sélectionné. Les demandes adressées à d'autres domaines ne sont pas affichées. Cela inclut les demandes de ressources de page (telles que des images) hébergées en dehors de cette propriété. Par conséquent, si la page "example.com/mapage" comprend l'image google.com/img.png, la demande associée à google.com/img.png n'apparaîtra pas dans le rapport "Statistiques sur l'exploration" de la propriété example.com.
- De même, les demandes adressées à un domaine frère (comme fr.example et en.example) ne sont pas prises en compte. Par conséquent, si vous consultez le rapport "Statistiques sur l'exploration" pour fr.example, les demandes d'image pour en.example ne sont pas indiquées.
- Toutefois, les demandes entre sous-domaines sont visibles à partir du domaine parent. Dès lors, si vous consultez les données du site example.com, vous pouvez voir toutes les demandes adressées à example.com, fr.example.com, en.example.com et à tout autre domaine enfant d'example.com.
- À l'inverse, si les ressources de votre propriété sont utilisées par une page d'un autre domaine, vous voyez les demandes d'exploration associées à la page hôte, mais pas le contexte indiquant que la ressource a été explorée, car elle est utilisée par la page d'un autre domaine. Autrement dit, vous ne verrez pas le texte précisant que l'image example.com/imageX.png a été explorée, car cette ressource figure sur la page autreexample.com/mapage.
- Les données d'exploration incluent les protocoles HTTP et HTTPS, même pour les propriétés de préfixe d'URL. En d'autres termes, le rapport "Statistiques sur l'exploration" pour http://example.com comprend les demandes adressés à la fois à http://example.com et à https://example.com. Toutefois, les exemples d'URL pour les propriétés avec préfixe d'URL sont limités au protocole défini pour la propriété (HTTP ou HTTPS).
Parcourir le rapport
Le rapport contient les informations d'exploration suivantes concernant votre site :
Cliquez sur une entrée du tableau pour afficher une vue détaillée de cet élément, ainsi qu'une liste d'exemples d'URL. Cliquez sur une URL afin d'obtenir des informations détaillées sur cette demande d'exploration. Par exemple, dans le tableau répertoriant les réponses regroupées par type, cliquez sur la ligne HTML pour afficher les informations d'exploration agrégées pour toutes les pages HTML explorées sur votre site, ainsi que des détails tels que la durée d'exploration, le code de réponse, la taille de la réponse, etc. pour obtenir un exemple de sélection de ces URL.
Hôtes et domaines enfants
Si votre propriété se situe au niveau du domaine (example.com, http://example.com, https://m.example.com) et qu'elle contient au moins deux domaines enfants (comme fr.example.com et en.example.com), vous pouvez consulter les données relatives au domaine parent (qui comprend tous les domaines enfants) ou celles d'un domaine enfant particulier.
Pour voir le rapport portant sur un domaine enfant spécifique, cliquez sur le nom de l'enfant dans les listes Hôtes sur la page de destination du domaine parent. Seuls les 20 premiers domaines enfants ayant reçu du trafic au cours des 90 derniers jours sont affichés.
Exemples d'URL
Vous pouvez cliquer sur n'importe quelle entrée de type de données groupées (réponse, type de fichier, objectif, type de Googlebot) pour afficher une liste d'exemples d'URL de ce type.
Les exemples d'URL ne sont pas complets, mais sont proposés à titre d'information. Si vous ne trouvez pas l'URL indiquée, cela ne signifie pas que nous ne l'avons pas demandée. Le nombre d'exemples peut être pondéré par jour. Il se peut donc que certains types de demandes comprennent plus d'exemples que d'autres. Cela devrait toutefois s'équilibrer au bout d'un certain temps.
Total des demandes d'exploration
Nombre total de demandes d'exploration envoyées pour des URL de votre site, qu'elles aient abouti ou non. Inclut les demandes de ressources utilisées par la page si ces ressources figurent sur votre site. Les demandes de ressources hébergées en dehors de votre site ne sont pas prises en compte. Les demandes en double pour la même URL sont comptabilisées individuellement. Si votre fichier robots.txt n'est pas suffisamment disponible, les explorations potentielles sont comptabilisées.
Les demandes suivantes sont comptabilisées même si elles n'ont pas abouti :
- Extractions qui n'ont jamais été effectuées, car le fichier robots.txt n'était pas suffisamment disponible
- Extractions qui ont échoué en raison de problèmes de résolution DNS
- Extractions qui ont échoué en raison de problèmes de connectivité du serveur
- Extractions abandonnées en raison de boucles de redirection
Taille de téléchargement totale
Nombre total d'octets téléchargés à partir de votre site pendant l'exploration, pour la période indiquée. Si Google a mis en cache une ressource de page utilisée par plusieurs pages, cette ressource n'est demandée que la première fois (lorsqu'elle est mise en cache).
Temps de réponse moyen
Temps de réponse moyen pour toutes les ressources récupérées sur votre site au cours de la période spécifiée. Chaque ressource liée à une page est comptabilisée comme une réponse distincte.
État de l'hôte
L'état de l'hôte indique si Google a rencontré des problèmes de disponibilité lors de l'exploration de votre site. Il peut correspondre à l'une des valeurs suivantes :
Google n'a rencontré aucun problème majeur de disponibilité d'exploration sur votre site au cours des 90 derniers jours. Félicitations ! Aucune action n'est requise de votre part.
Google a rencontré au moins un problème majeur de disponibilité d'exploration au cours des 90 derniers jours sur votre site, mais il remonte à il y a plus d'une semaine. Il se peut que l'erreur soit temporaire ou que le problème ait été résolu. Nous vous conseillons d'inspecter le tableau Réponse pour identifier les problèmes potentiels et déterminer si vous devez intervenir.
Google a rencontré au moins un problème majeur de disponibilité d'exploration la semaine dernière sur votre site. Comme l'erreur s'est produite récemment, essayez de déterminer s'il s'agit d'un problème récurrent. Inspectez le tableau Réponse pour identifier les problèmes potentiels et déterminer si vous devez intervenir.
Idéalement, l'état de l'hôte doit être vert. S'il est rouge, cliquez dessus pour consulter les informations de disponibilité concernant le fichier robots.txt, la résolution DNS et la connectivité de l'hôte.
Informations relatives à l'état de l'hôte
L'état de disponibilité de l'hôte entre dans l'une des catégories suivantes. Une erreur significative dans n'importe quelle catégorie peut entraîner un état de disponibilité réduit. Cliquez sur une catégorie du rapport pour obtenir plus d'informations.
Pour chaque catégorie, un graphique des données d'exploration pour la période sélectionnée s'affiche. Ce graphique comporte une ligne rouge pointillée. Si la valeur de la statistique se situe au-dessus de cette ligne pour cette catégorie (par exemple, si la résolution DNS échoue pour plus de 5 % des demandes au cours d'une journée donnée), cela est considéré comme un problème, et l'état indique la dernière fois que ce problème est survenu.
- Exploration du fichier robots.txt
Le graphique indique le taux d'échec des demandes de fichier robots.txt lors d'une exploration. Google demande souvent l'accès à ce fichier. Si la demande ne renvoie pas de fichier valide (qu'il soit vide ou non) ni de réponse 404 (indiquant que le fichier n'existe pas), Google ralentit ou arrête l'exploration de votre site jusqu'à ce qu'un fichier robots.txt acceptable soit accessible. Pour en savoir plus, reportez-vous à la section ci-dessous. - Résolution DNS
Le graphique indique à quel moment votre serveur DNS n'a pas reconnu votre nom d'hôte ou n'a pas répondu lors de l'exploration. Si vous rencontrez des erreurs, contactez votre bureau d'enregistrement pour vous assurer que votre site est correctement configuré et que votre serveur est connecté à Internet. - Connectivité du serveur
Le graphique indique à quel moment votre serveur n'a pas répondu ou n'a pas renvoyé de réponse complète pour une URL au cours d'une exploration. Pour découvrir comment résoudre ces erreurs, consultez la section Erreurs de serveur.
Voici une description plus détaillée de la manière dont Google interagit avec les fichiers robots.txt et dont il les vérifie lors de l'exploration de votre site.
Votre site n'est pas tenu d'avoir un fichier robots.txt, mais il doit renvoyer une réponse positive (voir ci-dessous) lorsque ce fichier vous est demandé. Dans le cas contraire, Google risque de cesser d'explorer votre site.
- Réponses appropriées pour le fichier robots.txt
- Voici les réponses possibles :
- HTTP 200 et un fichier robots.txt (qui peut être valide, non valide ou vide). Si le fichier contient des erreurs de syntaxe, la demande est quand même considérée comme ayant abouti. Toutefois, Google est susceptible d'ignorer les règles contenant une erreur de syntaxe.
- HTTP 403/404/410 (le fichier n'existe pas). Votre site n'est pas tenu d'avoir un fichier robots.txt.
- Échec de réponse du fichier robots.txt
- HTTP 429/5XX (problème de connexion).
Voici la façon dont Google demande et utilise les fichiers robots.txt lors de l'exploration d'un site :
- Avant l'exploration de votre site, Google vérifie si une demande de fichier robots.txt a abouti récemment (au cours des dernières 24 heures).
- Si une réponse concernant le fichier robots.txt a abouti il y a moins de 24 heures, Google l'utilise pour explorer votre site. (L'erreur 404 Introuvable constitue une opération aboutie qui signifie qu'il n'y a aucun fichier robots.txt. Google peut donc explorer toutes les URL du site.)
- Si la dernière réponse a échoué ou date de plus de 24 heures, Google demande l'accès à votre fichier robots.txt :
- Si l'opération aboutit, l'exploration peut démarrer.
- Si l'opération échoue :
- Pendant les 12 premières heures, Google cessera d'explorer votre site, mais continuera de demander l'accès à votre fichier robots.txt.
- Entre la douzième heure et le trentième jour, Google utilisera le dernier fichier robots.txt disponible, tout en continuant à demander l'accès à votre fichier robots.txt.
- Après 30 jours :
- Si la page d'accueil du site est disponible, Google agira comme s'il n'y avait pas de fichier robots.txt et effectuera une exploration sans restriction.
- Si la page d'accueil du site n'est pas disponible, Google arrêtera d'explorer le site.
- Dans les deux cas, Google continuera de demander régulièrement l'accès à votre fichier robots.txt.
Réponses d'exploration
Ce tableau présente les réponses reçues par Google lors de l'exploration de votre site. Elles sont regroupées par type et se présentent sous la forme d'un pourcentage par rapport à toutes les réponses d'exploration. Les données reposent sur le nombre total de demandes, et non sur l'URL. Par conséquent, si Google demande une URL deux fois et obtient une erreur de serveur (500) la première fois et OK (200) la deuxième fois, la réponse indique une erreur de serveur dans 50 % des cas et une réussite dans 50 % des autres cas.
Voici quelques codes de réponse courants, ainsi que des consignes pour vous aider à les traiter :
Codes de réponse ne signalant pas de problème
Ces pages sont valides et ne causent aucun problème.
- OK (200) : en temps normal, il doit s'agir de la grande majorité des réponses.
- Déplacement permanent (301) : votre page renvoie probablement cette réponse (301 ou 308) de manière intentionnelle.
- Déplacement temporaire (302) : votre page renvoie probablement cette réponse (302 ou 307) de manière intentionnelle. En cas de migration définitive, remplacez-la par une réponse de type 301.
- Déplacement (autre) : Meta refresh.
- Non modifié (304) : la page n'a pas été modifiée depuis la dernière demande d'exploration.
Codes de réponse ne signalant généralement pas de problème
Ces réponses peuvent être valides, mais nous vous conseillons de vérifier qu'elles sont intentionnelles.
- Les erreurs Page introuvable (404) peuvent être dues à des liens non fonctionnels sur votre site ou en dehors de celui-ci. Il n'est pas possible, utile ni même souhaitable de corriger toutes les erreurs 404 sur votre site. Par ailleurs, cette erreur est souvent la réponse la plus appropriée à renvoyer (par exemple, si la page a été supprimée sans être remplacée). En savoir plus sur la correction des erreurs 404
Codes de réponse signalant un problème
Veuillez corriger les pages renvoyant ces erreurs afin d'améliorer l'exploration.
- Fichier robots.txt non disponible : si le fichier robots.txt reste indisponible pendant une journée, Google interrompt l'exploration pendant un certain temps jusqu'à ce qu'une réponse acceptable à une demande de fichier robots.txt soit reçue. Veillez à ne pas dissimuler votre fichier robots.txt à Google et à ne pas faire varier la page du fichier robots.txt en fonction de l'user-agent.
Cette réponse n'équivaut pas à renvoyer "Introuvable (404)" pour un fichier robots.txt, ce qui est considéré comme une bonne réponse. En savoir plus sur les fichiers robots.txt - Non autorisé (401/407) : vous devez empêcher l'exploration de ces pages avec le fichier robots.txt ou choisir de les débloquer. Si ces pages ne contiennent pas de données sécurisées et que vous souhaitez qu'elles soient explorées, nous vous conseillons de transférer ces informations vers des pages non sécurisées ou d'autoriser Googlebot à y accéder sans identifiants de connexion. Notez toutefois que l'identité de Googlebot peut être usurpée. Si vous autorisez Googlebot à accéder à une page, gardez donc à l'esprit que cette page ne sera plus sécurisée.
- Erreur serveur (5XX) : ces erreurs génèrent des avertissements de disponibilité et doivent être corrigées dans la mesure du possible. Le graphique en miniature indique à quel moment ces erreurs se sont produites. Cliquez dessus pour en déterminer l'heure exacte et pour consulter plus d'informations. Identifiez s'il s'agit de problèmes temporaires ou d'erreurs significatives de disponibilité sur votre site. Si Google explore excessivement votre site, vous pouvez demander à réduire la vitesse d'exploration. Si ce comportement indique un problème de disponibilité grave, lisez les informations sur les pics d'exploration. Pour découvrir comment résoudre ces erreurs, consultez la section Erreurs de serveur.
- Autre erreur client (4XX) : une autre erreur 4XX (côté client) non spécifiée ici s'est produite. Nous vous recommandons de la résoudre au plus vite.
- DNS non réactif : votre serveur DNS n'a pas répondu aux demandes d'URL de votre site.
- Erreur DNS : autre erreur DNS non spécifiée.
- Erreur de récupération : la page n'a pas pu être récupérée en raison d'un numéro de port incorrect, d'une adresse IP non valide ou d'une réponse impossible à analyser.
- Impossible d'accéder à la page : désigne toute autre erreur de récupération de la page, lorsque la demande n'est jamais parvenue au serveur. Étant donné que ces demandes n'ont jamais abouti, elles ne s'affichent pas dans les journaux.
- Expiration de la page : le délai d'attente de la page a expiré.
- Erreur liée à des redirections : indique une erreur de redirection de la demande (par exemple, un trop grand nombre de redirections, une redirection vide ou une redirection circulaire).
- Autre erreur : désigne toute autre erreur qui ne correspond à aucune des catégories ci-dessus.
Types de fichiers explorés
Type de fichier renvoyé par la demande. La valeur indiquée pour chaque type correspond au pourcentage de réponses de ce type de fichier, et non au pourcentage d'octets récupérés.
Valeurs possibles pour les types de fichiers :
- HTML
- Image
- Vidéo (parmi les formats vidéo compatibles)
- JavaScript
- CSS
- Autre fichier XML (fichier XML qui n'inclut aucun RSS, KML ni aucun autre format basé sur le format XML)
- JSON
- Syndication (flux RSS ou Atom)
- Audio
- Données géographiques (données KML ou autres)
- Autre type de fichier (type de fichier non spécifié ici) Les redirections font partie de ce regroupement.
- Inconnu (échec) (si la demande échoue, le type de fichier est inconnu)
Objectif de l'exploration
- Découverte : l'URL demandée n'a encore jamais été explorée par Google.
- Actualisation : une page connue est explorée de nouveau.
Si vos pages changent à un rythme plus soutenu que la fréquence d'exploration, veillez à les inclure dans un sitemap. Pour les pages qui sont mises à jour moins fréquemment, vous devrez peut-être demander explicitement une nouvelle exploration. Si vous avez récemment ajouté beaucoup de contenu ou envoyé un sitemap, vous devriez constater une augmentation du nombre d'explorations de type "Découverte" sur votre site.
Type de Googlebot
Type de user-agent utilisé pour effectuer la demande d'exploration. Google utilise différents user-agents avec des comportements variés en fonction du contenu exploré.
Valeurs possibles pour le type de Googlebot :
- Smartphone : Googlebot pour smartphone
- Ordinateur : Googlebot pour ordinateur
- Image : Googlebot pour les images Si l'image est chargée en tant que ressource de page, le type de Googlebot est comptabilisé dans la catégorie Chargement des ressources de la page, et non sous Image.
- Vidéo : Googlebot pour les vidéos. Si la vidéo est chargée en tant que ressource de page, le type de Googlebot est comptabilisé dans la catégorie Chargement des ressources de la page, et non sous Vidéo.
- Chargement des ressources de la page : exploration secondaire des ressources utilisées par votre page. Lors de l'exploration de la page, les ressources clés associées (telles que les images ou les fichiers CSS) sont récupérées par Google afin d'afficher la page avant son indexation. C'est le user-agent qui effectue ces demandes de ressources.
- AdsBot : désigne l'un des robots d'exploration AdsBot. Si vous observez un pic de demandes, il est probable que vous ayez récemment créé un certain nombre de cibles pour les annonces dynamiques du Réseau de Recherche sur votre site. Consultez la section Pourquoi la vitesse d'exploration de mon site a-t-elle augmenté ? Adsbot explore les URL toutes les deux semaines environ.
- StoreBot : robot d'exploration de produits.
- Autre type d'agent : autre robot d'exploration non spécifié ici.
En cas de pics d'exploration, vérifiez le type de user-agent. Si les pics semblent être dus au robot d'exploration AdsBot, consultez la section Pourquoi la vitesse d'exploration de mon site a-t-elle augmenté ?
Dépannage
Vitesse d'exploration trop élevée
Googlebot utilise des algorithmes qui évitent de surcharger votre site lors de l'exploration. Toutefois, si pour une raison quelconque, vous devez limiter la vitesse d'exploration, découvrez ici comment procéder.
Pourquoi la vitesse d'exploration de mon site a-t-elle augmenté ?
Si vous faites des mises à jour régulières ou si vous offrez des informations vraiment utiles sur votre site, nous risquons de procéder à son exploration un peu trop souvent à votre goût. Exemple :
- Vous avez ouvert à l'exploration une grande portion de votre site.
- Vous avez ajouté un contenu conséquent à votre site.
- Vous avez ajouté un grand nombre de nouvelles cibles pour les annonces dynamiques du Réseau de Recherche en ajoutant des flux de pages ou des règles de type "URL_Equals".
Si votre site est si souvent exploré qu'il présente des problèmes de disponibilité, voici comment le protéger :
- Déterminez quel robot d'exploration Google explore votre site. Consultez les journaux de votre site Web ou utilisez le rapport Statistiques sur l'exploration.
- Solution immédiate :
- Une solution simple et rapide consiste à utiliser le fichier robots.txt pour bloquer l'exploration par l'agent (googlebot, adsbot, etc.) qui est responsable de cette surcharge. Un délai d'une journée peut être nécessaire avant que vos modifications prennent effet. Ne le bloquez pas trop longtemps, car cela peut affecter votre exploration à long terme.
- Si vous parvenez à détecter une charge accrue et à y répondre de manière dynamique, renvoyez le code HTTP 503/429 lorsque vous vous rapprochez de votre limite de diffusion. Toutefois, veillez à ne pas renvoyer 503 ni 429 pendant plus de deux ou trois jours, car nous risquons d'explorer votre site moins fréquemment à long terme.
- Deux ou trois jours plus tard, lorsque la vitesse d'exploration de Google s'est adaptée, vous pouvez supprimer vos blocages du fichier robots.txt ou cesser de renvoyer des codes d'erreur 503 ou 429.
- Si le nombre d'explorations par AdsBot est excessif, il est probable que vous ayez créé un trop grand nombre de cibles pour les annonces dynamiques du Réseau de Recherche sur votre site via l'attribut
URL_Equals. ou les flux de pages. Si votre serveur n'est pas assez puissant pour gérer ces explorations, vous devez limiter vos cibles d'annonces, ajouter des URL par petits lots ou augmenter la capacité de diffusion. Notez qu'AdsBot explore vos pages toutes les deux semaines. Il est donc important de résoudre le problème afin qu'il ne se reproduise pas.
La vitesse d'exploration semble trop faible
Vous ne pouvez pas demander à Google d'augmenter la vitesse d'exploration. Toutefois, vous pouvez vous familiariser avec la gestion de l'exploration pour les sites Web volumineux ou fréquemment mis à jour.
Pour un site de petite ou moyenne taille, si vous constatez que Google ne l'explore pas dans son intégralité, vous pouvez mettre à jour les sitemaps de votre site Web et vous assurer que vous ne bloquez pas de pages.
Pourquoi la vitesse d'exploration de mon site a-t-elle diminué ?
En général, la vitesse d'exploration de votre site par nos services est relativement uniforme sur une à deux semaines. Voici quelques raisons susceptibles d'expliquer une baisse soudaine de cette vitesse :
- Vous avez ajouté une règle (potentiellement très large) à votre fichier robots.txt. Assurez-vous de ne bloquer que les ressources concernées. Si nous avons besoin de ressources spécifiques telles que des fichiers CSS ou JavaScript pour comprendre le contenu, vous ne devez pas empêcher Googlebot d'y accéder.
- Si votre site répond lentement aux demandes, Googlebot réduira ces dernières pour éviter de surcharger votre serveur. Consultez le rapport des statistiques sur l'exploration pour voir si votre site répond plus lentement que prévu.
- En cas d'augmentation des erreurs de serveur, Googlebot réduira ses demandes pour éviter de surcharger votre serveur.
- Si un site est rarement mis à jour ou n'est pas de très haute qualité, il est possible que nous l'explorions moins souvent. Examinez objectivement votre site, demandez l'avis de personnes neutres sans lien avec lui et réfléchissez à la manière d'améliorer votre site dans son ensemble.
Les totaux d'exploration des rapports sont beaucoup plus élevés que ceux des journaux du serveur de votre site.
Si le nombre total d'explorations affiché dans ce rapport est nettement supérieur aux demandes d'exploration Google indiquées dans les journaux de votre serveur, Google n'a peut-être pas pu explorer votre site, car le fichier robots.txt est resté indisponible pendant trop longtemps. Dans ce cas, Google comptabilise les explorations qui auraient pu être effectuées si le fichier robots.txt avait été disponible, mais n'effectue pas ces appels. Vérifiez l'état d'extraction du fichier robots.txt pour déterminer si vous êtes bien dans cette situation.