Augmentez les revenus générés par votre contenu en veillant à ce que votre site puisse être exploré en intégralité. Pour optimiser l'exploration de votre site, tenez compte de tous les problèmes ci-dessous qui sont susceptibles d'affecter le processus.
Accorder l'accès aux robots d'exploration Google dans le fichier robots.txt
Pour nous permettre d'explorer vos sites, assurez-vous d'avoir autorisé les robots d'exploration Google à y accéder.
Si vous avez modifié le fichier robots.txt pour interdire au robot d'exploration Ad Manager d'indexer vos pages, nous ne pouvons pas y diffuser d'annonces Google. Pour autoriser notre robot d'exploration à accéder à vos pages, vous devez mettre à jour votre fichier robots.txt.
Pour cela, supprimez les deux lignes de texte suivantes :
User-agent: Mediapartners-Google
Disallow: /Cette modification permet à notre robot d'exploration d'indexer le contenu de votre site afin que des annonces Google y soient diffusées.
Notez que les modifications que vous apportez à votre fichier robots.txt ne seront probablement pas reflétées dans notre index avant la prochaine visite de nos robots d'exploration sur votre site.
Accorder l'accès à tout contenu nécessitant une connexion préalable
Si certains de vos contenus nécessitent une connexion préalable, assurez-vous d'avoir configuré des informations de connexion pour le robot.
Si ce n'est pas le cas, ils sont susceptibles d'être redirigés vers une page de connexion, ce qui peut entraîner un non-respect des règles ("Aucun contenu"). Il est également possible que nos robots d'exploration reçoivent un message d'erreur 401 (Non autorisé) ou 407 (Authentification proxy requise), et qu'ils ne puissent donc pas explorer le contenu.
Erreurs de type "Page introuvable"
Si l'URL envoyée à Google pointe vers une page qui n'existe pas (ou plus) sur un site ou génère une erreur 404 ("Page introuvable"), les robots de Google ne pourront explorer aucun contenu.
Remplacer les URL
Si vous remplacez l'URL de la page dans les tags d'emplacement publicitaire, les robots d'exploration Google risquent de ne pas pouvoir extraire le contenu à l'origine de la demande d'annonce, en particulier si le format de l'URL de la page remplacée est incorrect.
En règle générale, l'URL de la page que vous envoyez à Google dans votre demande d'annonce doit correspondre à l'URL réelle de la page que vous monétisez. Cela permet de s'assurer que Google se base sur les informations contextuelles appropriées.
Problèmes liés aux serveurs de noms
Si les serveurs de noms de votre domaine ou sous-domaine ne redirigent pas correctement nos robots d'exploration vers votre contenu, ou s'ils présentent des restrictions concernant l'origine des demandes, nos robots d'exploration risquent de ne pas trouver votre contenu.
Redirections non fonctionnelles ou en double
Si votre site comporte des redirections, notre robot d'exploration risque de rencontrer des problèmes pour les suivre. Par exemple, s'il existe de nombreuses redirections et que les redirections intermédiaires échouent, ou si des paramètres importants comme les cookies sont supprimés lors de la redirection, l'exploration risque de perdre en efficacité.
Pensez à limiter l'utilisation des redirections sur les pages comportant un code d'annonce et à vérifier que les redirections sont correctement intégrées.
Problèmes liés à l'hébergeur Web
Lorsque les robots d'exploration Google tentent d'accéder au contenu d'un site, les serveurs ne sont parfois pas en mesure de répondre à temps. Cette situation peut se produire lorsque les serveurs sont en panne, lents ou surchargés de demandes.
Nous vous recommandons de vérifier que votre site est hébergé sur un serveur fiable ou par un fournisseur de services fiable.
Restrictions relatives aux zones géographiques, aux réseaux ou aux adresses IP
Certains sites peuvent mettre en place des restrictions qui limitent les zones géographiques ou les plages d'adresses IP pouvant accéder à leur contenu. Il est aussi possible que leur contenu se trouve derrière des réseaux restreints ou des plages d'adresses IP limitées (par exemple, 127.0.0.1).
Si ces restrictions empêchent les robots d'exploration Google d'accéder à l'ensemble de vos pages, pensez à les supprimer ou à faire en sorte que votre contenu soit accessible publiquement pour que vos URL puissent être explorées.
Contenu récemment publié
Lorsque vous publiez une nouvelle page, vous pouvez effectuer des demandes d'annonces avant que les robots d'exploration Google aient la possibilité d'en explorer le contenu. Cela peut concerner, par exemple, les sites qui publient beaucoup de nouveaux contenus : sites d'actualités, sites comportant des contenus générés par les utilisateurs, sites avec des inventaires de produits volumineux, sites météorologiques, etc.
Généralement, une fois la demande d'annonce effectuée sur une nouvelle URL, le contenu est exploré en quelques minutes. Toutefois, au cours de ces premières minutes, le volume d'annonces risque d'être faible, car votre contenu n'a pas encore été exploré.
Pages personnalisées à l'aide de paramètres d'URL ou de chemins d'URL générés dynamiquement
Les URL de certains sites Web comportent des paramètres supplémentaires qui permettent d'identifier l'utilisateur connecté (SessionID, par exemple) ou d'autres informations qui peuvent être propres à chaque visite. Dans ce cas, les robots d'exploration Google peuvent considérer l'URL comme une nouvelle page, même si le contenu est identique. Cela peut entraîner un décalage de quelques minutes entre la première demande d'annonce sur la page et l'exploration de la page, ainsi qu'une augmentation de la charge du robot d'exploration sur vos serveurs.
Si le contenu d'une page n'est pas modifié, nous vous conseillons de supprimer les paramètres de l'URL, puis de transmettre ces informations autrement à votre serveur Web.
Une structure d'URL plus simple facilite l'exploration de votre site.
Données POST
Si votre site envoie des données POST avec les URL (par exemple, en transmettant des données de formulaire via une requête POST), il risque de rejeter les demandes qui ne sont pas accompagnées de données POST. Étant donné que les robots d'exploration Google ne fournissent aucune donnée POST, une telle configuration les empêche d'accéder à votre page.
Si le contenu de la page est déterminé par les données saisies par l'utilisateur dans le formulaire, envisagez d'utiliser une requête GET.
