Conceptos avanzados

En este artículo:

He oído que las distribuciones de probabilidad "a priori" bayesianas son peligrosas en las pruebas A/B. ¿Asumís que una variante específica es la ganadora?

No, se trata de un error común. Con respecto a las variantes ganadoras y a los porcentajes de conversiones, hacemos todo lo posible para usar las distribuciones de probabilidad "a priori" no informativas con la menor influencia posible en los resultados del experimento.

A veces, utilizamos probabilidades "a priori" que son informativas, pero tienen más que ver con la rapidez con la que los resultados de una variante pueden concurrir, lo que nos ayuda a encontrar resultados fiables para pruebas con poco tráfico.

¿Qué es una distribución de probabilidad bayesiana "a priori"?

Las distribuciones de probabilidad bayesianas "a priori" son creencias modelizadas sobre cómo creemos que se comportará una variante o experimento. Cuando se obtienen datos, la probabilidad "a priori" se mezcla con estos para formar la distribución de probabilidad "a posteriori", que es el resultado. A medida que se obtienen más datos, se considera que la probabilidad "a priori" está "saturada", y se dejará de tener en cuenta progresivamente. En Optimize, usamos una variedad de probabilidades "a priori". A medida que van llegando más datos, la influencia de esta distribución de probabilidad desaparece.

Sin embargo, a pesar de la nomenclatura, las probabilidades "a priori" no proceden necesariamente de datos previos; simplemente se utilizan como entradas lógicas en nuestro modelo.

Muchas de las probabilidades "a priori" que utilizamos no son informativas, es decir, no afectan mucho a los resultados. Por ejemplo, usamos probabilidades "a priori" no informativas para los porcentajes de conversiones, porque no asumimos que sabemos cómo una variante nueva se va a comportar sin haber visto ningún dato de esta anteriormente.

Usamos algunas probabilidades "a priori" que son más informativas, como con nuestros modelos jerárquicos. En estos modelos, usamos probabilidades "a priori" que ayudan a los experimentos que tienen un rendimiento muy constante a encontrar resultados más rápidamente. Evidentemente, si los datos de un experimento no son coherentes, estos datos "saturan" rápidamente la probabilidad "a priori" y hacen que esta sea menos influyente a medida que van llegando los datos.

Vale la pena señalar que esta probabilidad "a priori" podría sugerir que usemos datos anteriores de Google Analytics. Si bien esto es posible, actualmente no utilizamos estos datos.

¿Qué tipos de modelos utilizáis?

Utilizamos diferentes modelos para diferentes objetivos, en función de cómo se comportan. También estamos explorando constantemente nuevos modelos para ayudarle a encontrar los resultados más precisos lo más rápidamente posible.

¿Cuál es vuestro proceso de análisis?

El proceso varía ligeramente en función del objetivo y el método de medición, pero se desarrolla de la siguiente manera:

  1. Recopile los datos del hit sin procesar en el back-end de Google Analytics.
  2. Agrupe los datos experimentales, normalmente en un formato modificado, según el objetivo. Por ejemplo, realizamos transformaciones logarítmicas en algunas métricas según sea necesario antes de agruparlas.
  3. Los datos totales diarios se incorporan en nuestro sistema de procesamiento de estadísticas.
  4. Mediante estos datos totales, estimamos la forma de la distribución del porcentaje de conversiones utilizando un método de cadenas de Markov Monte Carlo (MCMC) y realizamos una muestra de esos resultados al mismo tiempo.
  5. Al comparar un gran número de muestras de esas distribuciones (también llamadas extracciones), podemos generar estadísticas. Por ejemplo, la Probabilidad de superar a la original y la Probabilidad de obtener el mejor resultado se generan teniendo en cuenta el número de extracciones en las que una variante supera a la original, o bien supera todas las otras variantes, respectivamente.

¿Vuestra prueba multivariante es factorial fraccional o factorial completa?

La prueba multivariante es una de las pruebas más eficientes que puede llevar a cabo. En primer lugar, le proporcionamos un resumen de estos términos:

  • Una prueba multivariante puede considerarse como una combinación de dos o más pruebas A/B, en las que se modifican varias partes de la experiencia de un usuario (cada parte se denomina factor, elemento o sección) para obtener combinaciones diferentes. Por ejemplo, una prueba multivariante puede incluir dos factores: el título y la imagen destacada, cada uno de los cuales tiene múltiples variantes. Por lo tanto, puede probar dos títulos y tres imágenes destacadas para encontrar cuál de las seis combinaciones funciona mejor, así como si hay alguna interacción positiva o negativa.
  • Una prueba multivariante factorial completa proporciona todas las combinaciones a los usuarios. Estas podrían analizarse simplemente como grandes pruebas A/B, aunque a medida que aumenta el número de secciones, el número de combinaciones crece exponencialmente. Por lo tanto, puede que tarde bastante tiempo en reunir suficientes datos para obtener resultados válidos. La ventaja, sin embargo, es que sabe cómo se comportan todas las combinaciones.
  • Una prueba multivariante factorial fraccional proporciona y analiza solo un subconjunto de las combinaciones. Esto hace posible encontrar resultados más rápidamente. Sin embargo, si no se ha proporcionado la mejor combinación real, no podrá saber si esa combinación habría funcionado mejor sin realizar una prueba de seguimiento.

Nuestros modelos nos permiten utilizar un método híbrido, por lo que no tiene que realizar esta compensación. Proporcionamos todas las combinaciones de una prueba, para que pueda aprender sobre las interacciones y las mejores combinaciones. No obstante, también realizamos el modelo del hecho de que algunas variantes aparecen en las combinaciones; así podemos aprender sobre las variantes dentro de un factor, no solo las combinaciones.

Este artículo de preguntas frecuentes forma parte de una serie de artículos de preguntas frecuentes sobre estadística y metodología de Optimize. A continuación se muestran otras preguntas frecuentes:

¿Te ha resultado útil esta información?
¿Cómo podemos mejorar esta página?