À propos du robot d'exploration de contenu

Un robot d'exploration (également appelé robot) est un logiciel utilisé par Google pour traiter et indexer le contenu des pages Web. Le robot d'exploration visite votre site afin d'identifier son contenu, puis le système utilise ces données pour diffuser des annonces pertinentes.

Informations importantes à connaître sur le robot d'exploration de contenu:

• Le rapport du robot d'exploration est mis à jour toutes les semaines.
  L'exploration est effectuée automatiquement. Nous ne sommes pas en mesure d'augmenter la fréquence d'exploration.
• Le robot d'exploration de contenu est différent du robot d'exploration Google.
  Il s'agit de deux robots distincts, mais partageant le même cache. Ils ne peuvent donc pas demander les mêmes pages, ce qui vous permet de préserver votre bande passante. Le robot d'exploration de la Search Console est également différent.
• La résolution des problèmes liés au robot d'exploration de contenu ne résout pas les problèmes d'exploration de Google.
  La résolution des problèmes listés sur la page "Accès du robot d'exploration" n'aura aucun impact sur votre classement dans la recherche Google.
  Remarque: Pour en savoir plus sur le classement de votre site sur Google, consultez Inclure votre site dans les résultats de recherche Google.
• Le robot d'exploration indexe les pages par URL.
  Par exemple, notre robot d'exploration accède séparément à "site.com" et à "www.site.com". Toutefois, il ne comptabilise pas séparément "site.com" et "site.com/#anchor".
• Le robot d'exploration n'accède pas aux pages ni aux répertoires dont l'accès est interdit par un fichier robots.txt.
  Les robots d'exploration Mediapartners Google et AdMob respectent votre fichier robots.txt. Si votre fichier robots.txt interdit l'accès à certaines pages ou à certains répertoires, ces pages et ces répertoires ne seront pas explorés.
  Remarque : Si vous diffusez des annonces sur des pages bloquées par un fichier robots.txt (avec la ligne User-agent: *), le robot d'exploration de contenu les explorera quand même. Pour empêcher le robot d'exploration de contenu d'accéder à vos pages, vous devez spécifier User-agent: Mediapartners-Google dans votre fichier robots.txt.

  Découvrez comment autoriser notre robot d'exploration à accéder à vos pages.
• Le robot d'exploration tente d'accéder seulement aux URL comportant nos tags d'emplacement publicitaire.
  Seules les pages qui diffusent des annonces Google doivent envoyer des demandes à notre système et être explorées.
• Le robot d'exploration tente d'accéder aux pages qui ont une fonction de redirection.
  Lorsque des "pages d'origine" redirigent vers d'autres pages, notre robot d'exploration doit accéder aux pages d'origine afin de confirmer le fonctionnement de la redirection. Cette visite est répertoriée dans vos journaux d'accès.
• Il n'existe aucun moyen de contrôler la fréquence à laquelle nos robots d'exploration indexent le contenu de votre site.
  Pour le moment, l'exploration est effectuée automatiquement par nos robots. Lorsque vous modifiez une page, une ou deux semaines peuvent être nécessaires pour que les changements soient pris en compte dans notre index.