Los experimentos de Display & Video 360 son un sistema de pruebas integrado que le ayuda a hacer pruebas A/B con una o varias creatividades, audiencias, estrategias de puja o tácticas de segmentación comparando pedidos de inserción o líneas de pedido.
Puede clasificar los usuarios en grupos y experimentos mutuamente excluyentes para probar distintas combinaciones de segmentación, de configuración y de creatividades, y ver cuáles ofrecen los mejores resultados. Utilice esta información para optimizar el rendimiento de sus campañas mientras todavía están activas o para planificar futuras campañas.
Los experimentos permiten:
- Probar todas las dimensiones de una variable que afectan al rendimiento de una campaña: segmentación, configuración, creatividades, etc.
- Generar informes sobre métricas clave: CPC, CTR, CPA, tasa de conversión, CPM, etc.
Identificación basada en usuarios
Display & Video 360 usa identificadores basados en usuarios para facilitar que sus experimentos se adapten a la desactivación de IDs de terceros. Para ello, utiliza identificadores alternativos cuando no hay IDs de terceros disponibles. De este modo, tiene más posibilidades de disponer de un identificador para cada impresión de anuncio.
De forma predeterminada, los experimentos utilizan la identificación basada en usuarios y la desviación aleatoria para maximizar la participación. Puede excluir a los usuarios no identificados filtrando el tráfico sin IDs de terceros para reducir la contaminación entre grupos. No obstante, en ese caso se reduciría el número de usuarios que participan en el experimento.
Conceptos
Valores reales
Resultados sin procesar del experimento. Estos valores representan el número de conversiones real que ha recibido la variante.
Grupo
Un grupo puede contener:
- Una sola línea de pedido o un solo pedido de inserción
- Varias líneas de pedido o varios pedidos de inserción
Por ejemplo, un valor de referencia y su variante son grupos distintos del experimento.
Valor de referencia
Línea de pedido o pedido de inserción que marca el estándar en las comparaciones del experimento. Puede crear variantes y compararlas con el valor de referencia original de la prueba.
Intervalo de confianza
Valor que indica el nivel de certeza de que la diferencia real entre las variantes se encuentre dentro del intervalo indicado. Puede especificar una probabilidad del 90 % o del 95 % de que el valor real se encuentre dentro del intervalo indicado.
Por ejemplo, un intervalo de confianza del 90 % debe señalar que 90 de las 100 pruebas repetidas tienen una diferencia que se encuentra dentro del intervalo indicado.
Valores normalizados
Valor máximo de clics, conversiones, impresiones o ingresos que se calcula extrapolando las cantidades reales de la variante o del valor de referencia a las cantidades que se obtendrían si el valor de referencia o la variante recibieran el 100 % de la división de la audiencia.
Por ejemplo, si una línea de pedido tiene 170.000 conversiones reales con una división de la audiencia del 34 %, el valor normalizado es de 500.000 conversiones si la misma línea de pedido recibiera el 100 % de la división de la audiencia.
Valor P
Probabilidad calculada de que la diferencia se haya producido por casualidad.
Se utiliza al determinar la significación estadística del resultado para comprobar la probabilidad de que haya una diferencia de rendimiento real entre el valor de referencia y la variante:
- Cuanto más bajo es el valor P, más posibilidades hay de que exista una diferencia de rendimiento real, lo que indica que los resultados son significativos.
- Cuanto más alto es el valor P, más posibilidades hay de que la diferencia de rendimiento se haya producido por casualidad, lo que indica que los resultados no son significativos.
Variante
Línea de pedido o pedido de inserción experimentales donde se prueba una sola variable, comparándola con la línea de pedido o el pedido de inserción de referencia.
Configurar un experimento
- En el anunciante, haga clic en la opción Experimentos del menú de la izquierda.
- En la pestaña Pruebas A/B, seleccione Crear.
- Elija una de las siguientes opciones:
- En varios exchanges
- YouTube y partners
- Introduzca los datos siguientes:
-
Nombre: introduzca un identificador para el experimento y, de forma opcional, una hipótesis.
-
Duración de la prueba (las fechas de inicio y finalización):
-
Fecha de inicio: indique cuándo comienza el experimento. Esta fecha debe ser posterior a la fecha actual.
-
Fecha de finalización: indique cuándo finaliza el experimento. Esta fecha es opcional. Si no la especifica, el experimento se ejecutará de forma indefinida.
Si es posible, asegúrese de que las fechas de inicio y finalización del experimento se correspondan con las de los pedidos de inserción o las líneas de pedido del experimento.
Por ejemplo:
- Si detiene un experimento antes de que los pedidos de inserción o las líneas de pedido lleguen a la fecha de finalización, el experimento no respetará la división de la audiencia y se mostrará al 100 % de los usuarios.
Las métricas de un experimento se basan únicamente en las impresiones servidas a partir de la fecha de inicio del experimento. Los informes pueden registrar un número de conversiones distinto si la línea de pedido estaba activa antes o después de las fechas del experimento.
-
-
Variantes de la prueba: elija si quiere comparar pedidos de inserción o líneas de pedido.
-
En función del tipo de experimento seleccionado, incluya al menos dos pedidos de inserción o líneas de pedido en el experimento.
- Comparar de forma individual: seleccione los pedidos de inserción que incluirá en el experimento.
- Si usa varios pedidos de inserción, puede ajustar la división de la audiencia para controlar la distribución de todas las cookies del experimento entre los pedidos de inserción o las líneas de pedido del experimento.
- En caso de usar varios pedidos de inserción, puede identificar el grupo de control definiendo el pedido de inserción como valor de referencia.
- Comparar grupos: seleccione los grupos de pedidos de inserción que quiera incluir en cada grupo del experimento.
- Puede ajustar la división de la audiencia para controlar la distribución de todas las cookies del experimento entre los pedidos de inserción o las líneas de pedido del experimento.
- Puede identificar el grupo de control definiendo el pedido de inserción como valor de referencia.
- Comparar de forma individual: seleccione los pedidos de inserción que incluirá en el experimento.
-
-
Medir:
- Objetivo de estudio: seleccione el objetivo que quiera medir en el experimento.
- Conversiones
- Clics
- Visualizaciones completadas
- Valor personalizado total de impresiones (cuando se usan pujas personalizadas)
- Intervalo de confianza: elija 95 % (el más habitual) o 90 %.
- Participación (solo en experimentos multiexchange): de forma predeterminada, se define para maximizar la participación en el experimento mediante identificadores a nivel de usuario y una desviación aleatoria.
- Puede activar la opción Excluir usuarios no identificados para excluir el tráfico que no tenga IDs de terceros y minimizar así la contaminación entre grupos.
Nota: Excluir a usuarios no identificados puede provocar que el experimento no sea representativo debido a la disminución de la participación.
- Puede activar la opción Excluir usuarios no identificados para excluir el tráfico que no tenga IDs de terceros y minimizar así la contaminación entre grupos.
- Configuración del estudio del incremento (opcional y solo disponible para experimentos de YouTube y partners):
- Marque la casilla de "Brand Lift".
- Seleccione de 1 a 3 métricas de incremento que quiera medir (tres como máximo). En la barra lateral izquierda se mostrarán los criterios de participación para medir el incremento y si las variantes experimentales son aptas. Más información sobre cómo configurar la medición de Brand Lift
- Introduzca los siguientes detalles de la encuesta:
- Nombre de su marca o producto.
- Tener un máximo de 3 nombres de marcas o productos competidores.
- Configura los siguientes ajustes de la encuesta:
- Idioma: el idioma de la encuesta.
- Tipo de objeto: el sector o el campo que quiere encuestar.
- Acción prevista: lo que espera que haga el usuario después de ver el anuncio.
- Objetivo de estudio: seleccione el objetivo que quiera medir en el experimento.
-
-
Haga clic en Guardar.
Evaluar los resultados de un experimento
- Vaya a su anunciante.
- En el menú de la izquierda, vaya a Experimentos.
- En la pestaña Pruebas A/B, seleccione el enlace Nombre del estudio para ver los resultados de un experimento.
- Si configura una encuesta Brand Lift en un experimento, haga clic en Ver informe de incremento junto al nombre de la variante de prueba para ver los resultados del estudio.
-
En la pestaña Resultados del experimento, haga lo siguiente:
-
En Conversiones: objetivo principal puede ver el resumen de los resultados, incluido un gráfico que ilustra la diferencia entre el valor de referencia, las variantes y el incremento:
- Métrica: puede evaluar la diferencia entre el valor de referencia y las variantes para comprobar si hay significación estadística.
- Estado. Indica si los resultados son estadísticamente significativos o no. Un resultado estadísticamente significativo se obtiene cuando hay una diferencia importante entre el valor de referencia y cualquier variante del objetivo del experimento.
- Fechas de la prueba: son las fechas que ha definido para llevar a cabo el experimento.
- Tipo. Indica si ha seleccionado comparar pedidos de inserción o líneas de pedido.
- Nivel de confianza. Indica el nivel de confianza que ha definido para el experimento.
- Intervalo de confianza. Cuando esta opción está activada, aplica el nivel de confianza que definido para el experimento.
-
-
Puede actualizar los resultados de las siguientes formas:
-
Seleccionando un valor de referencia: de forma predeterminada, el gráfico compara el valor de referencia con distintas variantes. En la lista Valor de referencia, puede seleccionar una variante para utilizarla como valor de referencia.
-
Seleccionando un modelo de atribución: al consultar los resultados de los experimentos de conversión, puede seleccionar un modelo de atribución en el menú desplegable Modelos de atribución.
-
-
También puede configurar dos estudios de Brand Lift independientes como grupos del experimento y ver los resultados de Brand Lift. Para ver los resultados de Brand Lift en Experimentos, tenga en cuenta lo siguiente:
Si tiene estudios de Brand Lift que se han creado para los pedidos de inserción de un experimento, el estudio de Brand Lift se configura automáticamente con la medición acelerada. El estudio de Brand Lift intentará recoger las respuestas a la encuesta lo antes posible y se detendrá cuando llegue al número objetivo de respuestas.- Las fechas de inicio de los estudios de Brand Lift y las de los experimentos deben ser las mismas.
- Las métricas seleccionadas y las preguntas del estudio deben ser las mismas.
-
Por ejemplo, si tiene dos campañas, puede llevar a cabo un estudio de Brand Lift para cada campaña y crear un experimento con dos grupos que representen cada una de ellas. Si el estudio de Brand Lift ha finalizado, podrá ver los resultados aunque el experimento aún se esté ejecutando.
Revisar las diferencias de un experimento
Vaya a la pestaña Diff para revisar las diferencias entre las ramas de un experimento. De esta forma, podrá ver si la única diferencia es la variable con la que está haciendo la prueba. Puede corregir las diferencias antes de ejecutar el experimento, lo que eliminará los posibles sesgos o el riesgo de que el experimento ofrezca resultados irrelevantes. Cuando los grupos de la variante tengan varias líneas de pedido, Display & Video 360 relacionará automáticamente las comparaciones según el número mínimo de diferencias observadas.
Tenga presente que la herramienta Diff está diseñada para usarse durante el proceso de control de calidad, pero puede que no sea útil de forma retroactiva. Esta herramienta compara las líneas de pedido y los pedidos de inserción tal cual están en el momento de la comparación y no cuando se ejecutó el experimento. Por tanto, mostrará los cambios que se hayan producido después del experimento (incluido el archivo de líneas de pedido), aunque dichos cambios no hayan afectado al experimento.
Prácticas recomendadas
Cuando vaya a crear un experimento, tenga en cuenta los siguientes aspectos.
Planificación y configuración
-
Pruebe solo una variable por experimento. Todos los grupos del experimento (valor de referencia y variantes) deben ser iguales, excepto la variable que vaya a probar.
-
Copie los pedidos de inserción o las líneas de pedido que quiera incluir en los experimentos, en lugar de crearlos desde cero. De este modo, todos los elementos de los experimentos serán idénticos, excepto la dimensión que quiera probar como variable.
-
Utilice solo pedidos de inserción o líneas de pedido nuevos en los experimentos. Si un pedido de inserción o una línea de pedido tienen actividad generada antes del experimento, esto puede afectar al recuento de conversiones.
-
Elimine las influencias externas. Las líneas de pedido que no incluye en un experimento no deben competir con los presupuestos de las líneas de pedido de dicho experimento. Por ello, si es posible, utilice un pedido de inserción distinto para las líneas de pedido que se utilizarán en el experimento.
Igualmente, debe procurar no utilizar la creatividad que incluye en el experimento fuera de este.
-
Indique un límite de frecuencia suficientemente alto. Si incluye pedidos de inserción en un experimento, asegúrese de que el límite de frecuencia de la campaña sea igual o superior a la suma del límite de frecuencia más alto de los pedidos de inserción del experimento más todos los límites de frecuencia de los pedidos de inserción restantes que no se utilizan en el experimento.
Por ejemplo, si tiene una campaña con tres pedidos de inserción, pero solo se incluyen dos de ellos en el experimento, para calcular el límite de frecuencia mínimo de la campaña debe sumar el límite de frecuencia más alto de los dos pedidos de inserción del experimento y el límite de frecuencia del pedido de inserción que no incluye en el experimento. Es decir, si los límites de frecuencia de los dos pedidos de inserción del experimento son 10 y 8 respectivamente, y el límite de frecuencia del tercer pedido de inserción (que no se incluye en el experimento) es 5, el límite de frecuencia de la campaña debería ser 15. Este resultado se obtiene sumando 10 (que es el límite de frecuencia más alto de los pedidos de inserción asociados al experimento) y 5 (que es la suma de todos los límites de frecuencia de los pedidos de inserción restantes de la campaña que no se incluyen en el experimento).
Esta práctica recomendada también sirve para calcular el límite de frecuencia a nivel de pedido de inserción si el experimento compara líneas de pedido.
-
Planifique cuidadosamente el presupuesto y el ritmo de gasto. El presupuesto que asigne a cada grupo de un experimento debe ser proporcional a la división de la audiencia de dicho experimento. De lo contrario, el presupuesto formará parte de las variables del experimento. Lo mismo ocurre con el ritmo de gasto. Esta práctica recomendada debe aplicarse a las líneas de pedido del experimento y también a las que no se incluyen en él, pero que forman parte del mismo pedido de inserción. La capacidad de gastar el presupuesto que tengan estas líneas de pedido no incluidas en el experimento y el ritmo con que lo hagan afectarán a la forma en que las líneas de pedido del experimento compren inventario y, por consiguiente, influirán en los resultados.
-
Tenga cuidado si la cobertura de sus campañas es limitada. Si prevé que la cobertura de sus campañas será relativamente limitada (p. ej., compra inventario de acuerdos o inventario de audiencia con una cobertura limitada), es posible que los experimentos generen intervalos de confianza amplios que pueden dificultar la evaluación de la eficacia de las variantes.
-
Téngalo todo a punto con suficiente antelación. Antes de que empiece un experimento, debe haber tiempo suficiente para que todas las creatividades se aprueben.
Durante la ejecución de un experimento
-
No pause el experimento. Si debe pausar una campaña temporalmente, pero tiene previsto continuar con el experimento, pause todos los grupos, pero no el experimento. Cuando reactive la campaña, active también todas las variantes a la vez.
Los experimentos que se finalicen no podrán reiniciarse. Además, todas las entidades que se les hayan asignado volverán a mostrarse al 100 % de los usuarios. -
Procure que los cambios sean uniformes. Para hacer un cambio en los pedidos de inserción o las líneas de pedido de un experimento mientras se está ejecutando, debe aplicar el mismo cambio a todos los grupos del experimento. Puede que tenga que hacerlo para quitar un sitio que no cumpla las directrices de idoneidad de la marca.
Consideraciones
- No es posible ejecutar experimentos con los siguientes tipos de inventario:
- Líneas de pedido predeterminadas de programática garantizada o pedidos de inserción con líneas de pedido predeterminadas
- Inventario de Reserva instantánea
- Los experimentos pueden ponerse en marcha 24 horas después de haberse configurado. Por ello, su fecha de inicio no puede ser la de hoy ni la de mañana.
- Las líneas de pedido o los pedidos de inserción solo pueden usarse en un experimento activo en un momento determinado.
- No es posible ajustar los porcentajes de división de audiencia una vez iniciado un experimento.
- El sistema de experimentos no distingue distintos dispositivos, por lo que es posible que un usuario vea una variante de un experimento en su dispositivo móvil y el valor de referencia correspondiente en el ordenador.
- El número de conversiones contabilizadas puede variar entre los experimentos y otras formas de registrar los datos, como las métricas que se muestran en tablas. Esto se debe a que las métricas registradas durante los experimentos solo tienen en cuenta las impresiones publicadas mientras el experimento estaba activo.
- Los estudios de incremento creados en pruebas A/B no se pueden volver a medir. Si quiere volver a medir el estudio de Brand Lift, debe detener el experimento, quitar el pedido de inserción del estudio de Brand Lift y crear otro en la pestaña "Estudios de incremento".
Preguntas frecuentes
¿Cuál es la diferencia entre la segmentación de la audiencia de Campaign Manager 360 y los experimentos de Display & Video 360?
La segmentación de la audiencia de Campaign Manager 360 consiste en dividir el tráfico entre distintas creatividades. Por ejemplo, con la segmentación de la audiencia, puede dividir el tráfico de una campaña de Campaign Manager 360 en distintos grupos de usuarios y traficar una creatividad distinta para cada segmento.
Los experimentos de Display & Video 360 dividen el tráfico a nivel de pedido de inserción o de línea de pedido, lo que permite probar cualquier configuración o cualquier dimensión a la que se puedan orientar anuncios y no solo traficar creatividades.
¿Por qué no puedo añadir un pedido de inserción o una línea de pedido concretos a mi experimento?
Los pedidos de inserción o las líneas de pedido que no puedan añadirse a su experimento se ocultarán, o bien se mostrarán pero no podrán seleccionarse mientras configure el experimento.
Es posible que mediante el icono de descripción emergente pueda averiguar por qué no puede añadir un pedido de inserción o una línea de pedido a un experimento.
¿Cuál es la diferencia entre Google Optimize y los experimentos de Display & Video 360?
Los experimentos de Display & Video 360 le permiten comparar tácticas de campañas publicitarias (como la segmentación y la configuración), mientras que Google Optimize le permite comparar diferentes sitios o páginas de destino.
Los experimentos de Display & Video 360 utilizan un modelo frecuentista parecido al que usan otras soluciones de medición del rendimiento publicitario, mientras que Google Optimize emplea un modelo bayesiano que es más adecuado para gestionar comparaciones con muestras pequeñas.
