- Qu'est-ce que la "confiance statistique" ? Est-ce la même chose que la confiance ?
- Qu'est-ce que la "probabilité d'être la meilleure" ?
- Comment déterminez-vous à quel moment lancer un test ?
- Comment décidez-vous à quel moment vous disposez d'une variante optimale ?
- Pourquoi les taux de conversion médians ne sont-ils pas identiques lorsque je divise simplement un nombre par l'autre ?
- Quels sont les chiffres des taux de conversion affichés par Optimize ? Que signifie chacun d'entre eux ?
- Pourquoi Optimize affiche-t-il une série de chiffres pour la statistique "amélioration", alors que la plupart des outils ne le font pas ?
- Puis-je connaître la durée de mon test ?
- Pourquoi utilisez-vous une méthode de mesure axée sur la session plutôt que sur l'utilisateur ?
- Ressources associées
Qu'est-ce que la "confiance statistique" ? Est-ce la même chose que la confiance ?
Non, ce n'est pas la même chose, mais vous pouvez l'utiliser de façon similaire. De plus, pour la plupart des gens, la confiance statistique correspond davantage à ce que la confiance pourrait ou devrait leur apporter. Les expérimentateurs ont généralement du mal à analyser la confiance de façon intuitive (elle correspond à 1 moins la p-valeur), alors que la confiance statistique désigne la probabilité qu'une variante soit plus performante que la version d'origine. Vous pouvez attendre que la confiance statistique atteigne 95 % ou passer à l'action plus tôt si vous êtes prêt à accepter un risque plus élevé de résultat incorrect. En savoir plus sur les difficultés liées à l'interprétation des p-valeurs
Qu'est-ce que la "probabilité d'être la meilleure" ?
La probabilité d'être la meilleure permet d'identifier la variante susceptible d'être globalement la plus performante. Elle correspond exactement à son appellation : aucune interprétation supplémentaire n'est nécessaire. Pour produire le même résultat dans un environnement fréquentiste, vous devriez réaliser des tâches supplémentaires, telles que des corrections de Bonferroni (en savoir plus sur les comparaisons multiples) afin d'éviter les réponses erronées.
Comment déterminez-vous à quel moment lancer un test ?
Actuellement, nous appliquons quelques règles concernant l'affichage du message d'état en haut de la page des rapports :
- Nous nous assurons que le test reçoit du trafic chaque jour, de sorte qu'il soit valide.
- Nous laissons passer deux semaines après le début du test. Pourquoi cette durée ? Si le test est conçu pour être déployé dans des sections régulièrement consultées d'une propriété numérique, ce laps de temps est généralement adapté pour vous faire une idée complète de vos données, en tenant compte des jours de semaine, des week-ends et de toute autre anomalie pouvant se produire d'une semaine sur l'autre. Toutefois, ce délai de deux semaines est un minimum, et un test peut durer plus longtemps. Vous pouvez également prendre une décision plus tôt si vous pensez que le trafic n'évoluera pas d'un point de vue qualitatif, mais nous vous recommandons de ne pas le faire.
- Nous étudions une statistique appelée "valeur potentielle restante". Le terme statistique correspondant est "regret", mais on peut également désigner ce concept par "perte potentielle" ou "coût d'opportunité potentiel". Cette statistique n'est actuellement pas disponible dans l'interface utilisateur d'Optimize, mais elle le sera prochainement. Elle décrit dans quelle mesure la valeur correspondant à votre objectif (par exemple, le taux de conversion ou le chiffre d'affaires) pourrait encore s'améliorer par rapport à la variante optimale actuelle. Voici un exemple de commentaire que vous pourriez faire en comparant cette statistique à un objectif de chiffre d'affaires : "Il existe une possibilité que l'une de vos variantes puisse encore battre votre variante optimale actuelle de 2 €. Si vous poursuivez le test plus longtemps, vous pourriez réduire le risque de perdre ces 2 €". Le chiffre redescend généralement à 0 à mesure que vous recueillez des données et que vous gagnez en assurance concernant vos résultats, même si l'évolution du comportement du trafic de votre test peut parfois le faire augmenter. À l'heure actuelle, nous appelons les résultats du test lorsque nous pensons que nous ne pouvons pas améliorer votre meilleur taux de conversion de plus de 1 % supplémentaire.
Comment décidez-vous à quel moment vous disposez d'une variante optimale ?
Lorsque les conditions ci-dessus sont remplies, nous recherchons la variante ayant la probabilité la plus élevée d'être la meilleure. Si cette variante a également plus de 95 % de chances d'être plus performante que la variante d'origine, nous désignons une variante optimale.
Pourquoi les taux de conversion médians ne sont-ils pas identiques lorsque je divise simplement un nombre par l'autre ?
Nous utilisons des modèles avancés qui tiennent compte du temps, du contexte de l'utilisateur, de la constance des résultats et d'autres facteurs. La simple division d'un nombre par l'autre ne peut pas tenir compte de tous ces facteurs. Nous adoptons cette démarche dans le but de modéliser au mieux les performances futures de vos variantes, de sorte que vos résultats aient plus de chances de rester valides à long terme.
Quels sont les chiffres des taux de conversion affichés par Optimize ? Que signifie chacun d'entre eux ?
Optimize fournit plusieurs chiffres, qui sont tous modélisés. En particulier, nous affichons la fourchette dans laquelle votre taux de conversion réel a 95 % de chances de se maintenir. Si vous passez la souris sur ces chiffres dans la fiche située tout en bas, vous obtenez également la valeur médiane et la fourchette de 50 %. Généralement, ces limites se restreignent au cours du test, à mesure que vous recueillez des données supplémentaires. Comme les fourchettes de taux de conversion se chevauchent moins, vous constaterez que vos probabilités augmentent pour les variantes les plus performantes. Cette progression est représentée dans le graphique temporel situé au bas de la page des rapports, et les fourchettes s'affichent également dans les lignes de cette même fiche située au bas de la page.
Pourquoi Optimize affiche-t-il une série de chiffres pour la statistique "amélioration", alors que la plupart des outils ne le font pas ?
Ils ont tort ! Ces chiffres montrent la fourchette de valeurs possibles pour l'amélioration de chaque variante par rapport à la variante d'origine. Chaque chiffre d'amélioration, quelle que soit la méthode de test, doit être associé à un intervalle. Les outils qui n'adoptent pas cette démarche sont trop simplistes et fournissent des résultats incomplets. L'intervalle que nous affichons est celui dont nous sommes certains à 95 % qu'il inclura votre amélioration réelle et celui dans lequel celle-ci se maintiendra si les conditions restent stables. Vous pouvez également passer la souris sur les chiffres de la dernière fiche afin d'afficher la médiane et l'intervalle de 50 %.
Puis-je connaître la durée de mon test ?
Sachant que notre approche s'adapte aux conditions du test, la durée de ce dernier est variable. Par exemple, si vos taux de conversion sont parfaitement stables au fil du temps, nous obtiendrons des résultats plus rapidement. En revanche, si les taux sont très variables, il nous faudra probablement plus de temps, car nous devons modéliser les différents facteurs d'influence. Les outils qui permettent de prédire la durée des tests partent du principe qu'il n'y aura pas de variabilité ou que le temps n'aura aucun impact. Ceci est rarement vrai dans les tests réels. En outre, nous vous recommandons de réaliser des tests d'une durée minimale de deux semaines afin de tenir compte des variations cycliques de votre trafic (jours de semaine et week-ends, par exemple) et d'éliminer tout effet de récence ou toute autre anomalie.
Pourquoi utilisez-vous une méthode de mesure axée sur la session plutôt que sur l'utilisateur ?
Chaque test étant différent, il peut nécessiter une approche bien spécifique, qu'elle soit extrêmement précise ou très approximative. Un éditeur qui cherche à enregistrer un maximum de pages vues peut lancer l'optimisation par rapport à un objectif basé sur le nombre de pages vues par session. En revanche, un détaillant en ligne qui souhaite attirer de nouveaux clients pourrait se concentrer sur le premier règlement et effectuer l'optimisation par rapport à un objectif axé sur les "utilisateurs ayant réalisé une conversion". Il existe également de nombreux exemples entre ces deux approches.
En outre, chaque type de mesure présente ses propres difficultés lorsqu'il faut déterminer quelle est la meilleure façon de mesurer l'impact statistique. Les méthodes précises offrent une compréhension rigoureuse du contexte et des informations de meilleure qualité sur la future évolution de la situation au jour le jour. Les mesures plus approximatives ne permettent pas d'obtenir ce type de renseignement.
Avec Optimize, nous cherchons constamment à trouver de nouvelles façons d'évaluer les tests pour vous aider à identifier les meilleurs résultats (et les mieux exploitables). Notre approche axée sur les sessions s'efforce de trouver un équilibre entre les différentes options et les compromis disponibles. Cela nous permet de mieux comprendre les variations quotidiennes des performances enregistrées par le test tout en produisant des résultats très similaires à ceux d'autres approches plus approximatives.
Ressources associées
Ces questions fréquentes font partie d'une série d'articles sur la méthodologie et les statistiques d'Optimize :