Qu'est-ce qu'un intervalle crédible ?
La compréhension du concept d'intervalle crédible est essentielle pour assimiler ce qui suit.
Un intervalle crédible est une plage de valeurs possibles pour l'objectif du test que vous essayez de mesurer. Un test ne connaît pas la véritable valeur de l'objectif, car il ne voit qu'un échantillon du trafic du site. La plage de valeurs possibles dépend de cet échantillon observé.
Intervalle crédible : il y a X % de chances que la véritable valeur se situe dans l'intervalle crédible à X %.
Exemples
- Intervalle crédible à 95 % : il y a 95 % de chances que la véritable valeur de votre objectif se trouve dans l'intervalle crédible à 95 %.
- Intervalle crédible à 50 % : il y a 50 % de chances que la véritable valeur de votre objectif se situe dans l'intervalle crédible à 50 %.
Optimize utilise des intervalles crédibles
L'analyse Optimize affiche des intervalles crédibles pour deux éléments différents : le taux de conversion modélisé (ou "valeur d'objectif modélisée") et l'amélioration modélisée. Bien qu'ils soient affichés différemment, ils sont tous deux des intervalles crédibles.
L'analyse Optimize indique les intervalles crédibles à 95 % et 50 %. Cela signifie qu'avec la plage externe (l'intervalle crédible à 95 %), vous pouvez affirmer qu'il existe une probabilité de 95 % pour que l'objectif du test se situe dans l'intervalle crédible.
L'intervalle du taux de conversion modélisé du test est affiché par Optimize de la façon suivante :
L'analyse Optimize transforme l'intervalle crédible en plage symétrique, comme illustré dans le diagramme. Cela signifie que la probabilité restante de 5 % est répartie de manière régulière au-dessus et en dessous de l'intervalle. Vous pouvez donc affirmer qu'il existe une probabilité de 2,5 % pour que la valeur de l'objectif du test se trouve en dessous de la limite inférieure de l'intervalle crédible. De plus, il existe une probabilité de 2,5 % pour que la valeur de l'objectif du test se trouve au-dessus de la limite supérieure de l'intervalle crédible.
Pour les amateurs de statistiques
Si vous aimez les mathématiques, vous pouvez aller encore plus loin. Vous pouvez simplement affirmer qu'il existe une probabilité de 22,5 % pour que la véritable valeur de l'objectif du test se trouve entre la limite inférieure de l'intervalle crédible à 95 % et celle de l'intervalle crédible à 50 %. Mais il est possible que cela n'intéresse que les amateurs de données et inférences, comme nous.
Amélioration modélisée
L'amélioration modélisée correspond à l'augmentation relative qu'une variante peut constater par rapport à la référence. Il s'agit également d'un intervalle crédible, mais dans un format légèrement différent.
La colonne d'amélioration modélisée des rapports Optimize affiche les résultats à un intervalle crédible à 95 %. Si vous déplacez votre souris sur les résultats, l'intervalle crédible à 50 % s'affiche. Les intervalles crédibles d'Optimize fournissent des probabilités basées sur la plage de valeurs probables d'un test.
Mais attendez, cela ressemble à un intervalle de confiance. Qu’est-ce qui les différencie ?
Lorsqu'il est utilisé dans des méthodes fréquentistes, un intervalle de confiance correspond à une probabilité permettant de savoir si l'intervalle présenté contient la valeur de l'objectif du test (ou de l'amélioration).
En savoir plus sur les différences entre les méthodes bayésiennes d'Optimize et les autres outils
Taux d'objectif modélisé
Le taux d'objectif modélisé représente la moyenne sur le long terme calculée par Optimize montrant l'endroit où la valeur de l'objectif en question se trouvera probablement. Par exemple, si vous avez un objectif de revenus, Optimize modélise les revenus moyens sur le long terme par session. Ou, pour les pages vues, le nombre moyen de pages vues sur le long terme par session.
Étant donné qu'Optimize modélise le taux sur le long terme, deux éléments doivent être mis en avant :
Si vous déployez ou mettez à jour votre site afin qu'il reflète la variante la plus performante, vous risquez de ne pas atteindre immédiatement le taux de conversion modélisé. Cela peut durer jusqu'à la fin du test.
Deuxièmement, Optimize suppose que le trafic du site pendant le test est semblable à ce qui se passera après le déploiement d'une variante. Lorsque vous déployez ou mettez à jour le site en fonction des résultats du test, posez-vous les questions suivantes :
- Lors du test, quelque chose d'inhabituel susceptible d'affecter les résultats s'est-il passé ?
- Par exemple, est-ce qu'un membre de votre entreprise a modifié le site de manière significative ?
- Par exemple, un post sur les réseaux sociaux a-t-il affecté un produit en particulier ?
- Existe-t-il des différences entre la période pendant laquelle est mené le test et la période de déploiement de la variante ?
- Par exemple, le test a été effectué en période plutôt basse, mais il sera déployé durant une période de fortes activités.
L'amélioration modélisée indiquée dans les rapports Optimize est un intervalle crédible indiquant la plage de valeurs possibles concernant l'efficacité d'une variante par rapport à la référence.
Prenons un exemple pour illustrer cela.
Voici les données observées pendant le test :
| Conversions | Session | Taux observé | |
|---|---|---|---|
| Valeur d'origine | 3 | 10 | 30 % |
| Variante | 4 | 10 | 40 % |
Le simple calcul (40 - 30) / 30 permet d'augmenter les taux de conversion de 33 %. Cependant, si nous nous basons sur ce faible ensemble de données, pouvons-nous affirmer que le taux de conversion augmentera réellement de 33 % (soit de 10 points pour le taux de conversion) ?
Probablement pas. C'est là que l'intervalle d'amélioration modélisée entre en jeu.
Cet intervalle crédible affiche la plage des améliorations possibles. L'échantillon ci-dessus étant plutôt petit, notre exemple peut afficher un intervalle d'amélioration modélisée sous ces formes : -50 % ou -200 %.
Cela vous informe que votre variante peut être 50 % inférieure à l'originale ou deux fois plus performante que celle-ci, ce qui ne vous est pas particulièrement utile.
Vous devez toujours mener un test pendant une durée minimum de 14 jours afin de collecter les données des visiteurs en milieu de semaine et le week-end, permettant ainsi à Optimize d'affiner les plages d'amélioration possibles.
Taux d'objectif au fil du temps
Optimize affiche un graphique chronologique en dessous des rapports. Ce graphique montre l'évolution de l'intervalle crédible de la valeur de l'objectif au fil du temps.
- Ce graphique ne montre pas l'évolution de vos taux d'objectif au jour le jour.
- Chaque point de ce graphique accumule l'ensemble des données précédentes.
À chaque point du graphique, l'ensemble des données, depuis le début du test jusqu'à ce jour, sont utilisées pour créer l'intervalle crédible du taux d'objectif modélisé. Ces intervalles crédibles sont ensuite affichés chaque jour, de la manière dont ils sont calculés.
Plus le nombre de données collectées augmente, plus les intervalles crédibles pour les taux d'objectifs "sur le long terme" devraient diminuer. Autrement dit, elles se rapprochent davantage de la valeur réelle.