Fazer testes A/B e agir com base nos resultados

Os dados são atualizados regularmente na página do grupo de mediação. Durante o período de 90 dias do teste, você pode finalizá-lo a qualquer momento com base nos dados gerados e adotar uma das variantes.Isso significa aplicar uma delas como configuração do grupo de mediação para 100% dos seus usuários.

Como acessar e monitorar seu teste A/B:

1. Faça login na sua conta da AdMob em https://apps.admob.com.
2. Clique em Mediação na barra lateral.
3. Selecione o grupo de mediação que tem o teste A/B que você quer ver.

Para ajudar você a analisar os resultados do seu teste, a AdMob informa os ganhos mensais estimados das variantes A e B. Essa métrica é uma projeção de quanto você receberá em 28 dias se aplicar essa variante a 100% dos usuários. Assim, você tem uma comparação realista e uma análise mais precisa do desempenho de cada variante.

Observação: a AdMob começa a calcular seus ganhos mensais estimados pelo menos quatro dias após você iniciar o teste A/B e depois que você atingir 10.000 impressões.

Confira a diferença nos ganhos mensais estimados na parte superior da página do teste A/B para entender o quão diferentes as variantes são.

Você também verá os ganhos estimados, o eCPM e a taxa de correspondência das variantes A e B, que serão atualizados durante o teste. Esses dados também mostram o desempenho das origens de anúncios em cada variante para você comparar facilmente os resultados de uma origem nas duas variantes.

Como entender os resultados

Quando um teste começa, a AdMob compara os ganhos mensais estimados nas duas variantes para determinar qual delas terá o melhor desempenho. A AdMob exibe a variante líder na página do teste A/B depois de determinar que uma delas teve resultados consistentes e substancialmente melhores do que a outra. Ela também informa uma ação recomendada: "Manter original" (se o desempenho da variante A tiver sido melhor) ou "Aplicar variante" (se a variante B tiver um resultado superior).

Além disso, mostra o nível de confiança na variante inicial com uma probabilidade percentual estimada (por exemplo, "99% de probabilidade estimada de que a variante A terá melhor desempenho do que B").

A AdMob determina a variante mais favorável e a probabilidade percentual estimada usando os seguintes critérios:

• A frequência com que o desempenho da variante mais favorável se mantém melhor
• A magnitude da diferença entre as duas variantes
• O volume de dados disponíveis. Recomendamos que você escolha um bloco de anúncios com tráfego significativo para aumentar a quantidade de dados disponíveis durante o teste. O teste precisa receber pelo menos 10.000 solicitações de anúncios para que a AdMob determine os resultados.

Uma consistência e uma diferença maiores no desempenho, assim como um grande volume de dados, ajudam a AdMob a aumentar a probabilidade percentual estimada.

Se nenhum desses critérios for atendido, a AdMob não conseguirá definir a variante mais favorável. Nesse caso, não haverá resultados conclusivos na página do teste A/B. No entanto, as métricas do teste para cada variante ficarão disponíveis.

Quando a alocação do usuário é definida como menos de 50%, os dados da variante B são um cálculo em escala. Isso significa que os dados são uma comparação justa, porque a AdMob calcula as informações da variante B como se ela estivesse recebendo uma divisão de usuários igual.

Por exemplo, se a alocação do usuário para a variante B for definida como 10%, os ganhos estimados serão multiplicados por 9. Isso permite que você faça uma comparação justa com a variante A (que tem uma alocação de 90% dos usuários). Assim, se a variante B receber US$ 10, o cálculo em escala dos ganhos da variante B será de US$ 90.

O que fazer

Recomendamos que você aguarde pelo menos duas semanas com o teste em execução para tomar alguma decisão.É possível escolher uma variante a qualquer momento durante os 90 dias. Isso significa aplicar uma delas como configuração do grupo de mediação para 100% dos seus usuários.Ao escolher uma variante, considere a diferença nos ganhos estimados e a probabilidade percentual estimada.

Você pode optar por manter a variante A ou aplicar a variante B:

• Para selecionar a variante A, clique em Manter. Isso significa que a configuração original do seu grupo de mediação será mantida.
• Para escolher a variante B, clique em Aplicar. Assim, incluiremos as definições da nova variação à sua conta.

Se você não escolher uma variante no fim dos 90 dias, o teste será interrompido, e a variante A será usada em 100% dos usuários, mesmo que ela não tenha sido a mais favorável.

Você terá 30 dias após o término do experimento para escolher uma variante. Após isso, o teste expirará, e a variante B será excluída.

Observação: veja mais informações sobre os testes A/B no seu Relatório de mediação.