À propos du robot d'exploration de contenu

Un robot d'exploration (également appelé robot) est un logiciel utilisé par Google pour traiter et indexer le contenu des pages Web. Le robot d'exploration visite votre site afin d'identifier son contenu, puis le système utilise ces données pour diffuser des annonces pertinentes.

Quelques informations importantes sur le robot d'exploration de contenu :

• Le rapport du robot d'exploration est mis à jour toutes les semaines.
  L'exploration est automatique, et nous ne sommes pas en mesure d'en augmenter la fréquence.
• Le robot d'exploration de contenu est différent du robot d'exploration Google.
  Il s'agit de deux robots distincts, mais partageant le même cache. De cette manière, ils ne peuvent pas demander les mêmes pages, et les éditeurs conservent ainsi leur bande passante. Le robot d'exploration de la Search Console est également différent.
• La résolution des problèmes liés au robot d'exploration de contenu ne résout pas les problèmes d'exploration Google.
  La résolution des problèmes répertoriés sur la page "Accès du robot d'exploration" n'aura aucun effet sur votre position dans les résultats de recherche Google. Pour plus d'informations sur le classement de votre site sur Google, consultez l'article AdSense Inclure votre site dans les résultats de recherche Google.
• Le robot d'exploration indexe les pages par URL.
  Notre robot d'exploration accède séparément à site.com et à www.site.com, mais ne comptabilise pas séparément site.com et site.com/#ancre.
• Le robot d'exploration n'accède pas aux pages ni aux répertoires dont l'accès est interdit par un fichier robots.txt.
  Les robots d'exploration Mediapartners Google et AdMob respectent votre fichier robots.txt. Si votre fichier robots.txt empêche l'accès à certaines pages ou à certains répertoires, ces pages et ces répertoires ne seront pas explorés.
  Notez que si vous diffusez des annonces sur des pages dont l'accès est interdit aux robots d'exploration (à cause de la ligne "User-agent: *"), le robot d'exploration de contenu les analysera quand même. Pour empêcher le robot d'exploration de contenu d'accéder à vos pages, vous devez spécifier User-agent: Mediapartners-Google dans votre fichier robots.txt. En savoir plus 
• Le robot d'exploration tente d'accéder seulement aux URL comportant nos tags d'emplacement publicitaire.
  Seules les pages qui diffusent des annonces Google doivent envoyer des demandes à notre système et être explorées.
• Le robot d'exploration tente d'accéder aux pages qui ont une fonction de redirection.
  Lorsque des "pages d'origine" redirigent vers d'autres pages, notre robot d'exploration doit accéder aux pages d'origine afin de confirmer le fonctionnement de la redirection. Cette visite est répertoriée dans vos journaux d'accès.
• Réexploration des sites
  Pour le moment, nous ne sommes pas en mesure de contrôler la fréquence à laquelle nos robots d'exploration indexent le contenu sur votre site. L'exploration est effectuée automatiquement par nos robots. Lorsque vous modifiez une page, une ou deux semaines peuvent être nécessaires pour que les changements soient pris en compte dans notre index.