Para los usuarios habituados al enfoque frecuentista

En este artículo:

¿Los métodos frecuentistas no son suficientemente buenos?

Muchas veces, sí, y si está realizando estudios clínicos y no hace ningún uso selectivo de los valores p para presentar los resultados que le interesan, seguro que sí. No obstante, la mayoría de los métodos frecuentistas proporcionan valores p e intervalos de confianza que ignoran el resto de efectos y no responden del todo a las preguntas formuladas. Si está realizando un estudio más complejo, como tratar de encontrar la probabilidad de que una variante sea la mejor o tener en cuenta las fluctuaciones reales del comportamiento de los usuarios, el enfoque de Optimize ofrece muchas ventajas.

¿Cómo? ¿No tenéis un requisito para el tamaño de las muestras?

No. A diferencia de los enfoques frecuentistas, en la inferencia bayesiana no es necesario tener una muestra mínima. Por tanto, aunque el volumen de tráfico sea bajo, si sus porcentajes de conversiones son muy coherentes (y bien diferenciados), obtendrá resultados útiles. Asimismo, puede que le surja una gran oportunidad de realizar un experimento en una parte de su sitio web que no recibe mucho tráfico; nuestro enfoque también da cabida a este tipo de casos. Puede que esto le resulte extraño si suele encontrarse con requisitos de tamaños de muestras más grandes, pero precisamente esa es una de las ventajas de nuestro enfoque.

¿Qué nivel de confianza utilizáis?

Nuestros intervalos representan el intervalo del 95% en el que es probable que se encuentren sus porcentajes de conversiones, aunque puede colocar el cursor sobre los intervalos de mejora para ver la mediana y los valores del intervalo del 50%.

¿Utilizáis una prueba t de una o dos colas?

Ninguna de las dos. La inferencia bayesiana, el enfoque que utilizamos, no se basa en este concepto.

Pero la significación y los valores p, ¿no indican el grado de probabilidad de que mi variante supere mi valor de control?

No. La definición de valor p es: la probabilidad de obtener resultados que sean al menos igual de extremos que los observados, suponiendo que la hipótesis nula sea correcta, y tomando como hipótesis nula de la prueba A/B que la variante y el control son iguales.

No es fácil explicar los valores p de forma intuitiva. El famoso blog político de Estados Unidos FiveThirtyEight analizó este asunto y llegó a la conclusión siguiente: "Puedas hacer las cosas de forma correcta o de forma intuitiva, pero no de ambas formas". A menudo se malinterpretan los valores p, pero en resumidas cuentas, por si solos no proporcionan la información que buscan la mayoría de las personas que hacen pruebas A/B, y aunque se combinen con otros datos, se pueden malinterpretar fácilmente.

Este artículo de preguntas frecuentes forma parte de una serie de artículos de preguntas frecuentes sobre estadística y metodología de Optimize. A continuación se muestran otras preguntas frecuentes:

¿Te ha resultado útil esta información?
¿Cómo podemos mejorar esta página?