É possível fazer experimentos de preço no Play Console para diversificar sua estratégia de precificação em mercados emergentes ou testar diferentes faixas de preços nos seus principais mercados para gerar mais receita.
Experimentos de preço permitem que você faça testes A/B no Play Console e use os resultados para ajustar os valores do seu app de acordo com o poder de compra nos diferentes mercados do mundo. Tudo isso com segurança e precisão. Você também pode usar esses experimentos para testar diferentes faixas de preço em relação a um preço de controle nos seus mercados principais para gerar mais receita. Ao definir os preços ideais para seus produtos no app em diferentes países/regiões, você aplica a melhor estratégia de precificação para aumentar a receita e atrair novos usuários. Como esse recurso é baseado nas vendas e nos preços dos produtos no app, ele só pode ser usado por desenvolvedores comerciantes.
As seções abaixo orientam e oferecem informações importantes sobre como preparar e realizar experimentos de preço, além de entender os resultados.
Abra e leia cada uma das seções abaixo antes de começar a configurar um experimento de preço no Play Console.
Informações gerais
- Os experimentos estão apenas no nível do app. Não é possível realizar experimentos em vários apps.
- A duração máxima de um experimento é de seis meses. Depois disso, os preços são revertidos para o valor original. Os preços também são revertidos para o valor original 14 dias depois de atingirem significância estatística.
- Em um único experimento, é possível testar no máximo mil produtos no app.
- Não é possível realizar outro experimento com os mesmos produtos no app e países por pelo menos 30 dias após o término do experimento original.
- Não é possível pausar experimentos. Eles só podem ser iniciados ou totalmente interrompidos. Não é possível reiniciar um experimento interrompido.
Limites de país/região
- Você pode realizar apenas um experimento por vez em determinado país/região. Por exemplo, se você estiver realizando um experimento na Noruega, não será possível iniciar outro no mesmo local com produtos diferentes, a menos que interrompa o primeiro e crie um novo.
- O preço testado precisa estar dentro das faixas definidas para compras no app. Se uma porcentagem de preço estiver fora da faixa de preço definida para esse país/região como parte de um experimento, ela vai ser automaticamente interrompida no valor limite.
- É possível ter no máximo duas variantes de preço e um controle para cada experimento.
- Os experimentos são implementados somente no país/região selecionado, e não nas variações de local associadas. Por exemplo, se você realizar um experimento na França, são excluídos os territórios franceses associados (Guiana Francesa, Polinésia Francesa, Guadalupe, Martinica, Mayotte, Nova Caledônia, Ilha da Reunião, São Bartolomeu, São Martinho, Saint-Pierre e Miquelon, Wallis e Futuna).
Mudanças nos produtos no app
- Não é possível mudar o preço de um produto no app incluído em um experimento ativo. Para mudar o preço, interrompa o experimento. Atenção:
- As únicas exceções são quando você realiza dois experimentos e aplica os resultados do primeiro. Como alternativa, se o produto no app estiver associado a um modelo de preços, vai ser possível mudar os preços dele somente para países fora dos experimentos.
- Se você configurar um novo produto no app durante um experimento ativo, ele vai ser omitido desse experimento.
Como realizar experimentos e aplicar resultados
- Você pode aplicar os preços dos experimentos a qualquer momento, mas recomendamos aguardar até que os resultados tenham significância estatística e aplicar somente as mudanças de preço com desempenho melhor do que o grupo de controle.
- Não é possível adicionar outros países/regiões ou produtos a um experimento que está em andamento.
- Se um ou mais dos seus produtos estiverem vinculados a um modelo de preços, a aplicação vai atualizar os preços nos países/regiões do experimento e desvincular esses produtos dos modelos.
Os experimentos usam muitos termos de estatística. Se não conhecer esses conceitos, consulte o glossário abaixo.
| Termo |
Definição |
Observações |
| Intervalo de confiança |
É um intervalo de valores que expressa a incerteza sobre a significância estatística de um resultado.
|
É um indicador importante para interpretar o resultado do experimento. A significância estatística é determinada quando o intervalo de confiança não cruza o 0.
É possível que ele não apareça nos primeiros dias devido a baixos volumes de dados.
|
| Nível de confiança |
É a probabilidade de que a diferença observada entre a variante e o controle seja verdadeira.
Exemplo: um nível de confiança de 90% significa que 10% do tempo a diferença observada provavelmente se deve ao acaso. Em outras palavras, os dados testados têm menos de 10% de chance de ocorrerem sem a diferença entre o controle e a variante. |
- Usamos o método Jackknife (uma ferramenta estatística que permite estimar a variância por reamostragem) para calcular os intervalos de confiança. Em seguida, aplicamos o teste sequencial misto de probabilidade para controlar a taxa de falsos positivos inflada devido ao monitoramento contínuo.
- O nível de confiança padrão é de 90%, mas você pode escolher entre 70% e 99%. Ele não muda ao longo do experimento depois de selecionado na configuração.
- Não é possível mudar o nível de confiança depois de iniciar o experimento.
- Os níveis de confiança mais comuns são 95%, 90% e 99%. Níveis mais altos exigem mais dados e, por isso, os resultados do experimento tendem a ser mais confiáveis.
- Um nível de 50% significa que essa é a probabilidade de o resultado estar correto (como jogar uma moeda).
|
| Controle |
É a variável original de teste (que contém a compra no app pelo preço anterior) em um grupo experimental. |
O preço de controle aparece para uma parte do público-alvo do experimento definido na configuração e para todos os usuários fora do experimento. |
| Resultado do experimento |
É o resultado do seu experimento. |
Os possíveis resultados de experimentos estão listados na seção a seguir. |
| Falso positivo |
Ocorre quando um evento negativo é categorizado incorretamente como positivo. |
Quando detectamos que a diferença de gastos entre o controle e o teste é estatisticamente significativa (positiva), mas ela não tem significância estatística real (negativa), consideramos isso como um falso positivo.
A taxa de falsos positivos é a proporção entre o número de falsos positivos e o total de eventos negativos reais.
|
| Produtos no app |
São itens de cobrança única do usuário.
Os produtos no app podem incluir itens como produtos digitais (por exemplo, níveis de jogo ou poções) e serviços premium no seu app no Google Play.
|
É possível escolher um ou mais produtos no app diferentes, com uma quantidade máxima de 2 mil. Em geral, mais dados significam menos tempo para detectar uma diferença entre o controle e as variantes, caso ela exista.
Fazer experimentos com mudanças de preços em muitos produtos pode diminuir o potencial de canibalização.
|
| Efeito mínimo detectável (MDE, na sigla em inglês) |
Uma opção escolhida ao configurar o experimento que indica o nível de melhoria a ser detectado. Você pode considerar isso como a sensibilidade do experimento, afetando o tempo estimado até a significância estatística. Depois de escolher o MDE, vai aparecer a estimativa do tempo necessário para determinar um resultado estatisticamente significativo com base nos dados históricos da sua seleção.
Por exemplo, um MDE menor significa um experimento mais sensível, levando a um tempo estimado mais longo para o cálculo da significância estatística.
|
|
| Efeito de novidade |
Um fenômeno em que usuários podem preferir ou testar um novo recurso (como um novo produto ou faixa de preços), mesmo que ele não seja melhor ou mais atraente do que o original. Nesse caso, o aumento costuma diminuir gradualmente. |
Os experimentos concluídos rapidamente podem estar sujeitos ao efeito de novidade. Recomendamos usar as semanas estimadas até o cálculo de significância estatística para considerar esse efeito. |
| Significância estatística |
Em um teste A/B, isso determina se a diferença entre o controle e a variante é real ou devido ao acaso. |
Se o intervalo não inclui o valor "zero" no efeito, consideramos esse resultado estatisticamente significativo. No nosso caso, o efeito é a diferença entre os gastos da versão de controle e da variante.
Confira alguns exemplos visuais de intervalos de confiança na seção Perguntas frequentes abaixo.
|
| Variante |
É uma variação da variável de teste original para um grupo experimental. |
A variante pode ser um aumento ou redução no preço da compra no app com o valor original. |
Configurar um experimento
Ao configurar um experimento, recomendamos incluir todos os produtos no app intercambiáveis, como a moeda do jogo, para limitar a canibalização.
Antes de começar: baixos volumes de dados
Se você trabalhar com baixos volumes de dados, provavelmente não terá dados suficientes para tirar uma conclusão do experimento. Por exemplo, se você realizar um experimento com um novo produto, a duração estimada e os avisos dele talvez não sejam precisos. Nesse caso, é possível que apareça um aviso no Play Console de que o volume de dados previsto para o período escolhido é muito baixo. Se você receber uma mensagem desse tipo, talvez os dados não sejam suficientes para realizar um experimento ou os parâmetros dele possam ser ajustados. Confira algumas ações recomendadas para resolver problemas de baixo volume de dados.
Por outro lado, se você estiver realizando um experimento mais longo, é importante considerar que os resultados podem ser afetados por fatores econômicos, como variações cambiais ao longo do tempo.
Para adicionar os detalhes do experimento, faça o seguinte:
- Abra o Play Console e acesse a página Experimentos de preço (Monetize com o Google Play > Experimentos de preço).
- Clique em Criar experimento.
- Na seção "Adicionar detalhes", insira um nome e uma breve descrição do experimento (opcional).
- Observação: o nome do experimento e a descrição breve não aparecem para os usuários.
- Selecione os países/regiões em que você quer fazer experimentos.
- Importante: os experimentos de preço só são implementados no país/região selecionado, e não em locais associados. Por exemplo, se você selecionar a França, as experiências de preço só vão ser implementadas no país, e não nos territórios associados, como a Guiana Francesa.
- Usando o menu suspenso Produtos, escolha os produtos no app que você quer incluir no experimento. Esse menu lista os nomes, códigos e preços dos produtos no app disponíveis.
- Importante: se você escolher um produto no app vinculado a um modelo de preços, esse modelo vai ser bloqueado durante o experimento.
- Selecione uma data de início. Seu experimento vai começar à 0h00 PT na data selecionada. Você pode programar o experimento para iniciar no futuro.
- Clique em Próxima para continuar a configurar o experimento com a inclusão de variantes.
Com base na configuração do experimento, se estimarmos que os volumes de dados vão ser muito baixos para alcançar significância estatística, vai aparecer um aviso. Nesse caso, recomendamos fazer ajustes para garantir que você colete dados suficientes para alcançar significância estatística. Para conferir as próximas etapas, consulte as Ações recomendadas para baixos volumes de dados.
As recomendações a seguir vão ajudar a mudar os volumes de dados necessários para alcançar significância estatística, reduzindo a duração do experimento.
Na seção "Adicionar variantes", adicione e remova variantes de preço. Seu experimento precisa ter pelo menos uma variante. Para adicionar variantes, siga estas etapas:
- Usando o menu suspenso, escolha Aumentar o preço ou Diminuir o preço e insira a porcentagem que você quer aplicar. Atenção:
- Você precisa inserir um número inteiro.
- Se você selecionar Diminuir o preço, insira um valor entre 1 e 99.
- Se você selecionar Aumentar o preço, insira um valor entre 1 e 999.
- Depois de adicionar uma variante, as faixas de preço de controle e da variante vão ser listadas na página. Clique em Conferir os preços dos produtos para consultar mais detalhes, incluindo nomes e IDs, variações de local (se aplicável) e informações fiscais. É possível observar a porcentagem real de mudança do preço após usar a taxa de câmbio e os padrões de preços específicos do país.
- Clique em + Adicionar outra variante e repita as etapas anteriores para incluir várias variantes no seu experimento. As faixas de preço de controle e da variante também são listadas na página.
- Clique em Próxima para continuar a ajustar as configurações do seu experimento.
Na seção "Gerenciar as configurações", defina os parâmetros de segmentação para ajustar seu experimento. Para gerenciar as configurações do experimento, faça o seguinte:
- Insira o público-alvo do experimento. Essa é a porcentagem de usuários que vão participar do experimento. Esses usuários vão ser divididos igualmente entre as variantes e o controle. O preço original ou de controle também vai aparecer para os usuários fora do experimento, mas eles não vão ser incluídos na análise.
- Observação: insira um número inteiro entre 1 e 100.
- Insira seu nível de confiança. A redução do nível de confiança aumenta a probabilidade de um falso positivo, mas também diminui o tempo de execução do experimento.
- Insira um efeito mínimo detectável. Ele indica o nível de melhoria que você quer que o experimento detecte. Você pode considerar isso como a sensibilidade do experimento. O tempo estimado até o cálculo da significância estatística vai ser ajustado.
- Refine seus parâmetros de segmentação para ajustar seu experimento. Você pode usar o tempo estimado até o cálculo da significância estatística como uma diretriz com base na sua configuração.
Agora está tudo pronto para iniciar o experimento. Durante o processo, os preços de produtos no app e países ou regiões selecionados vão ser mudados. Você pode encerrar o experimento a qualquer momento.
- Antes de iniciar o experimento, confirme que você entendeu o seguinte:
- O experimento pode afetar a receita do app. Se não for estatisticamente significativo, qualquer resultado negativo ou positivo na receita talvez não seja importante. Por isso, recomendamos aguardar até você alcançar significância estatística.
- Enquanto o experimento estiver ativo, não vai ser possível editar os preços dos produtos no app selecionados.
- A aplicação dos resultados de um experimento vai afetar todos os países/regiões e produtos no app incluídos.
- Clique em Confirmar e iniciar.
Você pode encerrar o experimento a qualquer momento.
- Abra o Play Console e acesse a página Experimentos de preço (Monetize com o Google Play > Experimentos de preço).
- Abra o experimento que você quer encerrar.
- Clique em Finalizar o experimento.
Após o término do experimento, os preços vão voltar ao valor original para os países/regiões e produtos no app relevantes. O experimento e a análise não vão mais estar ativos.
Se você tiver programado um experimento futuro, também pode fazer o cancelamento seguindo as etapas anteriores. Às vezes, os experimentos cancelados até 24 horas antes da data de início programada são ativados temporariamente.
É importante conhecer os diferentes resultados possíveis do experimento e o que eles podem significar para o app e a estratégia de preços. Leia esta seção com atenção antes de aplicar os resultados.
Quando os resultados forem considerados estatisticamente significativos, eles vão aparecer na página de análise do experimento, e você vai receber uma mensagem de aviso na caixa de entrada.
Conferir o resultado
Acesse o experimento para conferir o resultado e a análise. Acesse a página Experimentos de preço (Monetize com o Google Play > Experimentos de preço) e clique na seta para a direita ao lado do experimento para acessar a página de análise dele.
O resultado aparece na parte superior da página. Abra a seção Possíveis resultados do experimento abaixo para conferir os diferentes resultados e o que eles significam. Abaixo do resultado do experimento, confira uma breve descrição dele. Por exemplo, o resultado "A variante [X] teve um desempenho melhor" talvez esteja acima de uma breve explicação, como "A variante [X] conquistou a maior receita". Quando uma variante tem um desempenho igual ou melhor do que o controle, é possível clicar em Aplicar variante [X] para atualizar o preço dos produtos no app. Para saber mais, consulte Aplicar variantes.
Observação: os experimentos são encerrados automaticamente 14 dias após a determinação do resultado. Também é possível clicar em Finalizar experimento para encerrar imediatamente.
Dica: você pode aplicar os preços dos experimentos a qualquer momento, mas recomendamos aguardar até que os resultados tenham significância estatística e aplicar somente as mudanças de preço com desempenho melhor do que o grupo de controle.
Conferir dados de apoio
Abaixo do resultado, uma tabela mostra os dados em que o resultado estatístico se baseia. A tabela lista as variantes, a receita, a receita comparada ao controle (além da receita comparada à porcentagem do controle) e o intervalo de confiança das variantes. Se você quiser entender as diferentes métricas na página de análise do experimento, abra a seção Definições de métricas.
Abaixo da tabela, na seção "Dados de apoio", é possível conferir dados mais detalhados. O gráfico mostra as informações de receita em comparação com o controle para a data mais recente disponível como padrão. Na visualização, a área sombreada representa o intervalo de confiança. O gráfico permite observar como o intervalo de confiança mudou ao longo do tempo. Ajuste a duração e as datas selecionadas usando os filtros adequados no canto superior direito do gráfico.
Você também pode mostrar as seguintes métricas usando o filtro no canto superior esquerdo do gráfico: "Receita", "Pedidos", "Compradores", "Percentual de compradores" e "ARPPU". Essas métricas também estão descritas na seção Definições de métricas abaixo. Se você escolher outra métrica, o gráfico não vai mostrar um intervalo de confiança, já que ele se baseia na receita.
Para conferir mais detalhes no nível do produto, exporte os resultados do experimento como um arquivo CSV. Abra a seção Definições de métricas (exportação de CSV) para consultar campos, formatos e exemplos de exportação de CSV.
Dica: clique em Acessar configurações do experimento para conferir detalhes, que também podem ser filtrados por variante e país/região. Isso pode ser útil para se lembrar rapidamente dos parâmetros do experimento.
Antes de aplicar a variante, observe o seguinte:
- Se um ou mais dos seus produtos no app estiverem associados a um modelo de preços, a aplicação vai atualizar os preços nos países/regiões do experimento e desvincular esses produtos dos modelos.
- Só é possível aplicar a variante para todos os produtos no app e países/regiões do experimento. Calculamos a significância estatística em toda a configuração. Por isso, não podemos garantir o mesmo resultado e efeito caso apenas parte dos países/regiões e produtos no app configurados seja aplicada.
Se as variantes tiverem um desempenho igual ou melhor do que o controle, atualize os preços ao aplicar a variante:
- Abra o Play Console e acesse a página Experimentos de preço (Monetize com o Google Play> Experimentos de preço).
- Clique em Aplicar variante ao lado da variante que você quer aplicar.
Os preços do app vão ser atualizados conforme você configurou na variante. O experimento vai ser encerrado automaticamente 14 dias após a determinação do resultado. Também é possível clicar em Finalizar experimento para encerrar imediatamente.
Existem vários resultados possíveis para um experimento. Seu resultado determina quais vão ser as próximas etapas.
| Resultado do experimento |
Significado |
Observações/recomendações |
| A variante [X] teve um desempenho melhor |
A variante [X] teve significância estatística e produziu um resultado importante, porque gerou o maior aumento na receita. |
Aplique a variante [X], já que o resultado dela foi significativamente melhor que os da versão de controle e das outras variantes. |
| As duas variantes tiveram um desempenho melhor do que a versão de controle |
As duas variantes geraram uma receita maior do que a versão de controle. Analise os resultados e decida qual delas vai ser aplicada. |
Você decide qual variante vai ser aplicada. |
| As variantes e a versão de controle tiveram o mesmo desempenho |
Nenhuma variante gerou uma receita maior do que a versão de controle. |
O experimento coletou dados suficientes e indica um empate entre as variantes e o controle. |
| A versão de controle teve o melhor desempenho |
A versão de controle gerou uma receita maior do que as duas variantes. |
Isso sugere que as atuais faixas de preço para os produtos e países testados já estão otimizadas. Você pode continuar usando o preço da versão de controle. |
| Mais dados são necessários |
Seu experimento está em andamento. São necessários mais dados para ter um resultado com significância estatística. |
Acesse as ações recomendadas para baixos volumes de dados para determinar as próximas etapas. |
| Resultado inconclusivo |
O experimento foi encerrado prematuramente ou atingiu a duração máxima de seis meses. São necessários mais dados para ter um resultado com significância estatística. Faça um novo experimento com uma configuração diferente. |
Acesse as ações recomendadas para baixos volumes de dados para determinar as próximas etapas. Isso pode indicar que os compradores são indiferentes aos preços dos produtos no app nos países/regiões do experimento. |
Esta tabela lista as métricas da página de análise do experimento.
| Métrica |
Definição |
| Receita de todos os produtos |
É a receita bruta dos usuários no experimento que, dentro e fora dele, compraram produtos no app, gerada ao longo do período especificado. |
| Receita média por usuário pagante (ARPPU) |
É a receita bruta total dos produtos no app dividida pelo número de compradores únicos (usuários que fizeram pelo menos uma compra de produtos no app dentro e fora do experimento) no período especificado para o experimento. Com essa métrica, é possível entender o valor dos compradores para seu negócio. |
| Percentual de compradores (28 dias) |
É a porcentagem de usuários ativos por mês que fizeram pelo menos uma compra de produtos no app durante o experimento, incluindo itens fora do experimento.
Observação: essa é uma métrica importante para entender a conversão de compradores e aumentar a amplitude da base de usuários pagantes.
|
| Compradores |
É o número de usuários únicos que compram pelo menos um produto no app pelo preço do experimento, gerado no período especificado. |
| Receita de novas instalações |
É a receita bruta dos usuários que instalaram o app pela primeira vez em qualquer dispositivo após a data de início do experimento e consultaram o preço do experimento pela primeira vez. Alguns usuários recusam o compartilhamento desses dados com o Google. |
| Pedidos |
É o número de compras de produtos no app feitas durante o experimento no período especificado. |
| Receita |
É a receita bruta dos usuários do experimento que, dentro dele, compraram produtos no app, gerada no período especificado. |
Esta tabela lista os campos, formatos e exemplos das definições de métricas exportadas como um arquivo CSV.
|
Campo
|
Formato |
Exemplos e observações |
| Data |
String |
Mar 23, 2023
É a data dos pedidos com base no fuso horário do Pacífico (no formato MMM DD, AAAA).
|
| ID de SKU |
String |
treasure_chest_for_new_users
É um ID exclusivo do produto no app especificado pelo desenvolvedor.
|
| Título do produto |
String |
moedas, assinatura mensal e assim por diante.
É o nome do produto no app criado pelo desenvolvedor.
|
| País |
String |
BR, US, FR e assim por diante.
É o código exclusivo do país para métricas relevantes do produto no app.
|
| Grupo experimental |
String |
CONTROLE, A ou B
É o grupo experimental para métricas relevantes do produto no app.
|
| Moeda do desenvolvedor |
String
|
USD, EUR, THB e assim por diante.
É a moeda para a conversão dos pedidos. Esta é a moeda local em que você vai receber o pagamento.
|
| Receita |
Numérico |
2.794,60
É a receita bruta total do produto no app especificado, de acordo com a data, o país e o grupo experimental.
|
| Receita de novas instalações |
Numérico |
577,20
É a receita bruta dos usuários que instalaram o app pela primeira vez em qualquer dispositivo após a data de início do experimento e consultaram o preço pela primeira vez, considerando a data, o país e o grupo experimental. Alguns usuários recusam o compartilhamento desses dados com o Google.
|
| Pedidos |
Numérico |
240
É o total de pedidos do produto no app especificado, de acordo com a data, o país e o grupo experimental.
|
| Compradores |
Numérico |
197
É o total de compradores do produto especificado, de acordo com a data, o país e o grupo experimental. Os compradores são os usuários que compraram o produto no app específico durante o experimento.
|
Perguntas frequentes
Fechar tudo Abrir tudo
Países e regiões só vão estar qualificados para experimentos de preço se atenderem aos seguintes critérios:
Os dados não vão estar disponíveis se os volumes forem muito baixos. Além disso, alguns dados podem demorar até sete dias para aparecer na página de análise do experimento.
Sim. Ao realizar um experimento com um produto no app associado a um modelo de preços, os preços nos países/regiões testados ficam bloqueados durante o experimento. No entanto, ainda é possível mudar os preços para outros países/regiões.
Se você optar por aplicar os novos preços no final do experimento, todos os produtos no app testados serão desvinculados dos modelos de preços associados, e o modelo vai continuar o mesmo. Se você quiser aplicar os resultados do experimento sem desvincular os produtos no app dos modelos de precificação, acesse diretamente a página Modelos de precificação (Configurações > Modelos de precificação) e atualize os valores.
Para saber mais, consulte os modelos de precificação.
Não, os experimentos só podem ser feitos dentro das faixas de preço máxima e mínima definidas para cada país/região. Ao mudar um preço durante a configuração do experimento, se ele estiver em um dos limites, vai ser considerado automaticamente o preço mínimo ou máximo. Para conferir nossa lista de moedas e faixas de preços permitidas por país, consulte Locais que aceitam a distribuição aos usuários do Google Play.
Não. Se você integrar qualquer versão do sistema de faturamento do Google Play, vai ser possível realizar experimentos de preço.
Recomendamos que você não realize experimentos A/B simultâneos para garantir resultados significativos. Por exemplo, o Firebase funciona de maneira independente para experimentos de preço no Play Console, e qualquer interferência em produtos no app específicos pode afetar a confiabilidade dos resultados do experimento.
Usamos o método Jackknife (uma ferramenta estatística que permite estimar a variância por reamostragem) para calcular os intervalos de confiança. Em seguida, aplicamos o teste sequencial misto de probabilidade para controlar uma taxa de falsos positivos inflada devido ao monitoramento contínuo. A significância estatística é determinada quando o intervalo de confiança não cruza o 0.
O experimento é interrompido automaticamente 14 dias após atingir significância estatística ou depois da duração máxima de seis meses. Não interrompemos o experimento após a duração estimada na configuração. Em vez disso, ele é interrompido quando detectamos uma diferença estatisticamente significativa, e o novo preço precisa ser aplicado em até 14 dias antes que volte ao original.
Não, isso não é possível. Somente um preço vai aparecer para o usuário durante o experimento.
Não, isso não é possível, porque o experimento já começou a coletar resultados com os parâmetros selecionados inicialmente. Você pode realizar um segundo experimento em paralelo com os outros países/regiões selecionados ou encerrar o atual e configurar um novo. Se houver produtos no app e países/regiões coincidentes, vai ser necessário esperar 30 dias antes de configurar um novo experimento.
A significância estatística é calculada em todos os países/regiões e produtos no app testados ao mesmo tempo, e não de forma independente para cada combinação. Se você quer ajustar os preços em um determinado país/região, recomendamos selecionar apenas esse local na configuração do experimento.
Sim, é possível aplicar uma variante mesmo após o preço voltar ao original.
Se os produtos no app do experimento não gerarem uma receita significativamente diferente em relação ao controle ou não houver dados suficientes, o resultado será considerado inconclusivo. Com esse resultado, é possível que os compradores sejam indiferentes aos dois preços.
Em geral, um tamanho de amostra maior proporciona mais eficiência. Se o único produto no app que você quer testar é um dos mais comprados, talvez seja interessante testar só esse produto. Se esse não for o caso, recomendamos testar vários produtos no app ao mesmo tempo, para aumentar a eficiência do experimento.
Se você tiver vários produtos no app que são intercambiáveis em certo nível (por exemplo, US$ 0,99 por 60 unidades monetárias no app e US$ 4,99 por 300), recomendamos testar os dois produtos no app juntos para evitar a canibalização.
Geralmente, recomendamos fazer experimentos de uma variante, com o preço original do produto no app como controle e o valor com desconto como variante. Um experimento de duas variantes tem como controle os produtos no app com preços originais e os mesmos produtos no app com duas faixas de preços diferentes. Os resultados desses experimentos podem ser difíceis de interpretar e levar mais tempo para alcançar significância estatística.
Se o intervalo não inclui o valor "zero" no efeito, consideramos esse resultado estatisticamente significativo. No nosso caso, o efeito é a diferença entre os gastos da versão de controle e da variante.
Confira a seguir um exemplo de intervalo de confiança com um resultado positivo conclusivo:
Confira um exemplo de intervalo de confiança com um resultado negativo conclusivo:
Confira um exemplo de intervalo de confiança com um resultado inconclusivo que precisa de mais dados:
Sim. Estamos sempre monitorando o spoofing de local do usuário, e tomamos medidas para reduzir o impacto nos desenvolvedores e nos produtos deles.
Conteúdo relacionado