Le fait d'empêcher Googlebot d'accéder à un site peut avoir un impact direct sur sa capacité à explorer et indexer le contenu du site en question. Ce dernier risque alors d'être moins bien classé dans les résultats de recherche Google. Malheureusement, il arrive souvent que les webmasters bloquent de manière accidentelle l'accès à leur site par Googlebot, et ce sans même le savoir. En effet, Googlebot doit être en mesure d'accéder à un site pour obtenir et suivre les consignes incluses dans son fichier robots.txt.
Lorsque Googlebot est bloqué, nous en informons les propriétaires de sites confirmés, via les Outils pour les webmasters.
Diagnostic des problèmes liés au blocage de Googlebot
Si vous pensez que l'accès à votre site par Googlebot est bloqué ou si vous avez reçu un message en ce sens, veuillez consulter les pages suivantes des Outils pour les webmasters :
- Erreurs d'exploration. Cette page répertorie les erreurs récemment rencontrées par Googlebot lors de l'exploration de votre site Web.
- Afficher comme Google. Cette page vous permet de lancer l'exploration d'une page spécifique par Google et d'afficher rapidement les résultats (y compris les erreurs).
Pour obtenir de l'aide sur le diagnostic et la résolution de ces erreurs, veuillez consulter le Forum d'aide pour les webmasters.
Raisons courantes
Vous trouverez ci-dessous quelques-unes des raisons courantes pour lesquelles Googlebot ne parvient pas à accéder à votre site Web.
Problèmes liés au système DNS
Nous ne sommes pas parvenus à communiquer avec le serveur DNS lors de notre tentative d'accès à votre site Web. Soit le serveur DNS est indisponible, soit le problème provient du routage DNS vers votre domaine.
Pour résoudre le problème, assurez-vous que votre fournisseur DNS ne bloque pas Googlebot, même de manière involontaire.
Pare-feu
Parfois, Googlebot ne parvient pas à explorer le site Web à cause d'un problème de configuration au niveau d'un pare-feu ou d'un système de protection DoS (ou du système de gestion de contenu du site, dans certains cas). Éléments essentiels d'un hébergement efficace, les systèmes de protection sont souvent configurés de sorte à bloquer automatiquement les demandes de serveur dès lors qu'elles atteignent des volumes anormalement élevés. Or, Googlebot génère souvent davantage de demandes qu'un internaute, ce qui risque de déclencher ces systèmes de protection. Ces derniers peuvent alors bloquer Googlebot et l'empêcher d'explorer votre site Web.
Pour résoudre ces problèmes, identifiez quelle partie de l'infrastructure de votre site bloque Googlebot et supprimez le code correspondant. Si vous ne gérez pas le pare-feu vous-même, vous devrez vous adresser à votre fournisseur d'hébergement.
Blocage volontaire par le webmaster
Il arrive parfois que les webmasters empêchent volontairement Googlebot d'accéder à leur site Web, au moyen d'un pare-feu par exemple (voir ci-dessous). En règle générale, le but n'est pas de bloquer complètement l'accès, mais de contrôler l'exploration et l'indexation du site. Dans ce cas, nous vous invitons à consulter les ressources suivantes :
- Si vous souhaitez contrôler l'exploration de votre contenu par Googlebot, reportez-vous à nos instructions détaillées relatives au protocole d'exclusion des robots (en anglais). Découvrez également comment utiliser un fichier robots.txt et configurer les paramètres d'URL.
- Si vous avez des doutes sur le fait qu'un robot peu recommandable utilise le user-agent Googlebot, vous pouvez vérifier s'il s'agit bien de Googlebot.
- Si vous souhaitez modifier la fréquence à laquelle Googlebot explore votre site, vous pouvez valider votre site Web dans les Outils pour les webmasters et changer la fréquence d'exploration de Googlebot. Les fournisseurs d'hébergement peuvent également confirmer la propriété de leurs adresses IP.
Aide supplémentaire
Pour obtenir de l'aide lors du diagnostic et de la résolution de ces erreurs, veuillez consulter le Forum d'aide pour les webmasters.