Analise o teste A/B e tome medidas

Os dados são atualizados regularmente na página do grupo de mediação. Em qualquer altura durante os 90 dias, pode tomar uma decisão com base nos dados e adotar uma variante. A adoção de uma variante significa que está a optar por usar uma das variantes como configuração do grupo de mediação para 100% dos utilizadores.

Para aceder ao teste A/B e monitorizá-lo:

1. Inicie sessão na sua conta do AdMob em https://admob.google.com.
2. Clique em Mediação na barra lateral.
3. Selecione o grupo de mediação com o teste A/B que quer ver.

Para ajudar a analisar os resultados do teste A/B, o AdMob comunica os ganhos mensais em escala da variante A e da variante B. Os ganhos mensais em escala são uma estimativa do valor que vai ganhar em 28 dias se aplicar esta variante a 100% dos utilizadores. Isto proporciona uma comparação justa e uma imagem mais precisa do desempenho de cada variante.

Nota: o AdMob começa a calcular os seus ganhos mensais em escala 4 dias após iniciar o teste A/B e alcançar 10 000 impressões.

Verifique a diferença de ganhos mensais em escala na parte superior da página de teste A/B para compreender a magnitude da diferença entre as variantes.

Os gráficos ilustram o desempenho de todas as origens de anúncios em cada variante, para que possa comparar facilmente o desempenho de uma origem de anúncios nas duas variantes. Estes gráficos facilitam e tornam mais clara a interpretação dos resultados da experiência. O gráfico de resumo mostra uma vista geral das principais métricas. Pode passar o cursor do rato sobre uma métrica no gráfico de resumo para determinar o desempenho de cada variante para essa métrica principal.

Vai encontrar a receita escalada, o eCPM, a taxa de correspondência e as impressões escaladas da variante A e da variante B, que são atualizadas ao longo do teste. Pode clicar num separador para cada métrica para rever um gráfico de linhas com maior detalhe. Cada gráfico de linhas mostra os dados diários e representa a variante B como uma alteração percentual em comparação com a variante A. 

Compreenda os resultados

Nota: os resultados dos testes são estimativas. Os valores projetados servem como referência para a otimização da mediação e não são uma garantia dos resultados finais.

Após o início de um teste, o AdMob compara os ganhos mensais em escala em ambas as variantes para determinar a variante com melhor desempenho. O AdMob mostra a variante líder na página de teste A/B assim que determinar que uma variante teve um desempenho consistente e substancialmente superior ao da outra variante. Também iremos fornecer uma ação recomendada: "Manter original" (se a variante A estiver a ter um melhor desempenho) ou "Aplicar variante" (se a variante B estiver a ter um melhor desempenho).

Para fazer ajustes a um teste enquanto estiver ativo, clique em Editar teste. Esta ação termina o teste atual e cria um rascunho de um novo teste com as mesmas definições que pode editar. Para garantir recomendações e resultados precisos, não é possível editar os testes em tempo real. Lembre-se de que é preciso tempo para alcançar resultados, por isso, evite terminar prematuramente o teste com base nos resultados iniciais.

O AdMob determina a variante líder e a probabilidade percentual estimada usando os seguintes critérios:

• A consistência com que a variante líder apresenta um desempenho superior ao da outra variante.
• A magnitude da diferença entre ambas as variantes.
• O volume de dados disponíveis. Recomendamos que escolha um bloco de anúncios com tráfego substancial para aumentar a quantidade de dados disponíveis durante o teste. Tenha em atenção que o teste tem de receber, pelo menos, 10 000 pedidos de anúncios para que o AdMob determine os resultados.

Uma maior consistência e diferença no desempenho, bem como um grande volume de dados, ajudam o AdMob a aumentar a probabilidade percentual estimada.

Se algum destes critérios não for cumprido, o AdMob não vai poder determinar uma variante líder. Neste caso, a página de teste A/B não irá apresentar resultados conclusivos. No entanto, pode continuar a ver as métricas do teste referentes a cada variante.

Acerca da definição da atribuição de utilizadores para a variante B

Quando a atribuição de utilizadores é definida como menos de 50%, os dados da variante B são calculados em escala. Isto significa que os dados representam uma comparação equitativa, pois o AdMob calcula os dados da variante B como se estivesse a receber uma divisão de utilizadores igual.

Por exemplo, se a atribuição de utilizadores para a variante B for definida como 10%, os ganhos estimados são multiplicados por 9. Isto permite-lhe fazer uma comparação equitativa com a variante A (que tem uma atribuição de utilizadores de 90%). Deste modo, se a variante B ganhar 10 €, o cálculo escalado dos ganhos da variante B vai ser de 90 €.

Tome medidas

Recomendamos que deixe o teste em execução durante, pelo menos, duas semanas antes de tomar medidas.Pode adotar uma variante em qualquer altura durante os 90 dias. A adoção de uma variante significa que está a optar por usar uma das variantes como configuração do grupo de mediação para 100% dos utilizadores. Tenha em conta a diferença nos ganhos estimados e a probabilidade percentual estimada quando decidir adotar uma variante.

Dica: clique em Ver relatório para ver uma análise mais detalhada dos resultados do teste.

Pode optar por manter a variante A ou aplicar a variante B:

• Para selecionar a variante A, clique em Manter a variante A. Deste modo, mantém-se a configuração original do grupo de mediação.
• Para selecionar a variante B, clique em Aplicar a variante B. Deste modo, aplicamos as definições da variação à sua conta.

Se não adotar uma variante até ao final dos 90 dias, o teste para e a variante A é usada em 100% dos utilizadores, mesmo que não tenha sido a variante líder do teste.

Tem 30 dias após a experiência terminar para escolher uma variante antes de o teste expirar e a variante B ser eliminada.

Nota: estão disponíveis mais informações acerca dos testes A/B no relatório de mediação.