Os dados são atualizados regularmente na página do grupo de mediação. Durante o período de 90 dias do teste, você pode finalizá-lo a qualquer momento com base nos dados gerados e adotar uma das variantes.Isso significa aplicar uma delas como configuração do grupo de mediação para 100% dos seus usuários.
Como acessar e monitorar seu teste A/B:
- Faça login na sua conta da AdMob em https://admob.google.com.
- Clique em Mediação na barra lateral.
- Selecione o grupo de mediação que tem o teste A/B que você quer ver.
Para ajudar você a analisar os resultados do seu teste, a AdMob informa os ganhos mensais estimados das variantes A e B. Essa métrica é uma projeção de quanto você receberá em 28 dias se aplicar essa variante a 100% dos usuários. Assim, você tem uma comparação realista e uma análise mais precisa do desempenho de cada variante.
Confira a diferença nos ganhos mensais estimados na parte superior da página do teste A/B para entender o quão diferentes as variantes são.
Você também verá os ganhos estimados, o eCPM e a taxa de correspondência das variantes A e B, que serão atualizados durante o teste. Esses dados também mostram o desempenho das origens de anúncios em cada variante para você comparar facilmente os resultados de uma origem nas duas variantes.
Como entender os resultados
Quando um teste começa, a AdMob compara os ganhos mensais estimados nas duas variantes para determinar qual delas terá o melhor desempenho. A AdMob exibe a variante líder na página do teste A/B depois de determinar que uma delas teve resultados consistentes e substancialmente melhores do que a outra. Ela também informa uma ação recomendada: "Manter original" (se o desempenho da variante A tiver sido melhor) ou "Aplicar variante" (se a variante B tiver um resultado superior).
Além disso, mostra o nível de confiança na variante inicial com uma probabilidade percentual estimada (por exemplo, "99% de probabilidade estimada de que a variante A terá melhor desempenho do que B").
A AdMob determina a variante mais favorável e a probabilidade percentual estimada usando os seguintes critérios:
- A frequência com que o desempenho da variante mais favorável se mantém melhor
- A magnitude da diferença entre as duas variantes
- O volume de dados disponíveis. Recomendamos que você escolha um bloco de anúncios com tráfego significativo para aumentar a quantidade de dados disponíveis durante o teste. O teste precisa receber pelo menos 10.000 solicitações de anúncios para que a AdMob determine os resultados.
Uma consistência e uma diferença maiores no desempenho, assim como um grande volume de dados, ajudam a AdMob a aumentar a probabilidade percentual estimada.
Se nenhum desses critérios for atendido, a AdMob não conseguirá definir a variante mais favorável. Nesse caso, não haverá resultados conclusivos na página do teste A/B. No entanto, as métricas do teste para cada variante ficarão disponíveis.
Quando a alocação do usuário é definida como menos de 50%, os dados da variante B são um cálculo em escala. Isso significa que os dados são uma comparação justa, porque a AdMob calcula as informações da variante B como se ela estivesse recebendo uma divisão de usuários igual.
Por exemplo, se a alocação do usuário para a variante B for definida como 10%, os ganhos estimados serão multiplicados por 9. Isso permite que você faça uma comparação justa com a variante A (que tem uma alocação de 90% dos usuários). Assim, se a variante B receber US$ 10, o cálculo em escala dos ganhos da variante B será de US$ 90.
O que fazer
Recomendamos que você aguarde pelo menos duas semanas com o teste em execução para tomar alguma decisão.É possível escolher uma variante a qualquer momento durante os 90 dias. Isso significa aplicar uma delas como configuração do grupo de mediação para 100% dos seus usuários.Ao escolher uma variante, considere a diferença nos ganhos estimados e a probabilidade percentual estimada.
Você pode optar por manter a variante A ou aplicar a variante B:
- Para selecionar a variante A, clique em Manter. Isso significa que a configuração original do seu grupo de mediação será mantida.
- Para escolher a variante B, clique em Aplicar. Assim, incluiremos as definições da nova variação à sua conta.
Se você não escolher uma variante no fim dos 90 dias, o teste será interrompido, e a variante A será usada em 100% dos usuários, mesmo que ela não tenha sido a mais favorável.
Você terá 30 dias após o término do experimento para escolher uma variante. Após isso, o teste expirará, e a variante B será excluída.