Resultados de experimentos

En este artículo:

¿Qué es la "probabilidad de superar el valor de referencia"? ¿Es lo mismo que la confianza?

No, no lo es, pero se podría usar de una manera similar. Además, la probabilidad de superar el valor de referencia se corresponde más con aquello que la mayoría de usuarios piensan que la confianza puede o debería proporcionar. En general nos cuesta comprender intuitivamente el concepto de confianza (que es 1 menos el valor p), mientras que la probabilidad de superar el valor de referencia es exactamente lo que parece: la probabilidad de que una variante funcione mejor que la original. Puede esperar hasta que la probabilidad de superar el valor de referencia alcance el 95% o tomar una decisión antes si está dispuesto a aceptar un mayor riesgo de equivocarse. Más información sobre las dificultades a la hora de interpretar los valores p

¿Qué es la "probabilidad de obtener el mejor resultado"?

La probabilidad de obtener el mejor resultado le indica qué variante tiene más probabilidades de obtener el mejor rendimiento general. Es tal como suena; no tiene que hacer ninguna otra interpretación. Para obtener el mismo resultado en un entorno frecuentista, tendría que realizar trabajo adicional, como la corrección de Bonferroni (más información sobre las comparaciones múltiples) para asegurarse de que no obtiene resultados inexactos.

¿Cómo decidir cuándo el experimento ha dado un resultado?

Actualmente, seguimos un par de reglas cuando mostramos el mensaje de estado en la parte superior de la página de informes:

  • Comprobamos si hay tráfico en el experimento cada día para asegurarnos de que el experimento sea válido.
  • Esperamos hasta que un experimento haya durado dos semanas. ¿Por qué dos semanas? Con los experimentos diseñados para implementarse en las partes más comunes de una propiedad digital, es un buen intervalo de tiempo para obtener una idea completa de sus datos, teniendo en cuenta días laborables, fines de semana y otras irregularidades que puedan ocurrir de una semana a la otra. No obstante, dos semanas es un mínimo; los experimentos pueden ejecutarse durante más tiempo. También puede tomar una decisión antes si cree que es probable que su tráfico no vaya a cambiar de forma cualitativa, aunque no recomendamos hacerlo.
  • Observamos una métrica llamada "Posible valor restante". El término estadístico correspondiente es el "Pérdida potencial" o "Coste de oportunidad potencial". Esta métrica no está disponible actualmente en la interfaz de usuario de Optimize, pero puede que la ofrezcamos más adelante. Describe cuánto puede mejorar su métrica objetivo (p. ej. el porcentaje de conversiones o los ingresos por conversión) en comparación con el líder actual. Un ejemplo de una declaración que podría hacer mediante la comparación de dicha métrica con el objetivo de ingresos es: "Existe la posibilidad que una de sus variantes pueda superar su líder actual en 2 €. Si ejecuta el experimento durante más tiempo, puede que se reduzca el riesgo de perder esos 2 €". Por lo general, la cifra tiende a bajar a 0 a medida que se obtienen más datos y más certeza en los resultados, aunque si hay cambios en el comportamiento del tráfico del experimento, es posible que este valor incremente. Actualmente,tomamos una decisión sobre el resultado del experimento cuando creemos que no podemos aumentar el mejor porcentaje de conversiones en más de un 1%.

¿Cómo saber cuándo se tiene una variable líder?

Si se cumplen las condiciones anteriores, buscamos la variante que tiene más probabilidades de obtener el mejor resultado. Si esa variante también tiene más de un 95% de probabilidades de superar a la original, la designamos como líder.

¿Por qué los porcentajes de conversiones medios no son los mismos si solo divido un número por el otro?

Utilizamos modelos avanzados que tienen en cuenta el tiempo, el contexto del usuario, la coherencia de los resultados y otros factores. El simple hecho de dividir un número por otro no puede englobar todos estos factores. Hacemos esto para tratar de crear un modelo sobre cómo funcionarán sus variantes en el futuro, así que es probable que los resultados sigan siendo válidos a largo plazo.

¿Qué son los números de porcentaje de conversiones que muestra Optimize? ¿Qué significa cada uno?

Optimize muestra varios números, todos son resultados de modelos. En concreto, mostramos el intervalo en el cual hay una probabilidad del 95% de que se encuentre su porcentaje de conversiones real. Al colocar el cursor sobre estos números, situados en la tarjeta situada más abajo, también se muestra el valor de la mediana y el intervalo del 50%. Normalmente, estos límites se restringen a lo largo del experimento, a medida que van apareciendo más datos. A medida que los intervalos de porcentaje de conversiones se superponen menos, verá un aumento de la probabilidad en la dirección de las variantes que tienen mejor rendimiento Puede ver esta progresión en el gráfico de serie temporal situado en la parte inferior de la página de informes; los intervalos también se muestran en las filas de esa misma tarjeta situada más abajo.

¿Por qué Optimize muestra una serie de números para la estadística "mejora"? La mayoría de las herramientas no lo hace.

Deberían hacerlo. Estos números muestran el intervalo de valores posibles para la mejora de cada variante en relación con la original. Cada número de mejora, independientemente del método de prueba, debería tener un intervalo. Las herramientas que no muestran este intervalo están simplificando demasiado los datos y no cuentan todos los detalles. El intervalo muestra, con una seguridad del 95%, en qué punto su mejora real disminuirá y en qué punto se quedará si las condiciones siguen siendo las mismas. También puede colocar el cursor sobre los números de la última tarjeta para ver el valor mediano y el intervalo del 50%.

¿Hay alguna manera de saber cuánto tiempo debe durar mi experimento?

Como nuestro enfoque se adapta a las condiciones de la prueba, cada condición modifica la duración del experimento. Por ejemplo, si sus porcentajes de conversiones son muy constantes en el tiempo, encontraremos resultados más rápidamente. Ahora bien, si hay mucha variabilidad en los porcentajes, es probable que se tarde un poco más en realizar el modelo de los distintos factores influyentes. Las herramientas que permiten predecir la duración del experimento dan por sentado que no hay variabilidad ni dependencia temporal. En los experimentos reales, esto no ocurre casi nunca. Además, le sugerimos que ejecute experimentos durante al menos dos semanas para captar las variaciones cíclicas del tráfico, como los días laborables o fines de semana, y equilibrar cualquier efecto reciente u otras irregularidades.

¿Por qué utilizáis la medición centrada en la sesión en lugar de la centrada en el usuario?

Es posible que los distintos experimentos requieran enfoques muy diferentes: desde una perspectiva muy detallada hasta una muy general. Un editor que quiera obtener el número máximo de páginas vistas podría optimizar su objetivo basándolo en un número de páginas vistas por sesión. Por el contrario, un proveedor de comercio electrónico que quiera adquirir nuevos clientes podría centrarse en la primera tramitación de compra y optimizar su objetivo en función de un número de usuarios con conversión. Existen varios ejemplos para otros casos.

Además, cada tipo de medición presenta sus propios retos a la hora de decidir la mejor manera de medir el impacto estadístico. Las formas de medición detallada permiten comprender mejor el contexto y saber con más precisión lo que sucede a diario. Con las mediciones más generales, no se podría obtener tanta información.

Con Optimize, buscamos continuamente nuevas formas de evaluar experimentos para poder identificar los resultados más útiles. Nuestro enfoque centrado en la sesión busca lograr un equilibrio entre las diversas opciones y compensaciones disponibles: nos permite comprender mejor la variación cotidiana en el rendimiento de los experimentos y, al mismo tiempo, proporciona resultados muy similares a los de otros enfoques más generales.

Este artículo de preguntas frecuentes forma parte de una serie de artículos de preguntas frecuentes sobre estadística y metodología de Optimize. A continuación se muestran otras preguntas frecuentes:

¿Te ha resultado útil esta información?
¿Cómo podemos mejorar esta página?