Para que os desenvolvedores tenham mais controle e estatísticas mais robustas, fizemos algumas mudanças nos experimentos na página "Detalhes do app" no Play Console. Adicionamos três novos recursos:
- Configuração do parâmetro do experimento
- Calculadora para estimar as amostras necessárias e o tempo para conclusão
- Intervalos de confiança que agora permitem o monitoramento contínuo
Esta página foi atualizada com essas mudanças.
Os recursos descritos nesta página ainda não estão disponíveis para todos os desenvolvedores.
Para otimizar a página "Detalhes do app" no Google Play, realize experimentos em busca das imagens e dos textos traduzidos mais eficazes para seu app. Você pode fazer isso nas páginas "Detalhes do app" personalizadas e na versão principal.
No caso dos apps publicados, é possível testar variantes e fazer comparações com a versão atual para ver qual delas funciona melhor com base em dados de instalação. Antes de configurar um teste, consulte as práticas recomendadas para fazer experimentos eficazes.
Observação: os experimentos globais foram renomeados como experimentos com elementos gráficos padrão. Eles têm os mesmos recursos de antes da mudança de nome.
Tipos de experimento
Você pode gerar um experimento com elementos gráficos padrão ou até cinco testes simultâneos com versões traduzidas para cada app.
Elementos gráficos padrãoEsse experimento permite testar os elementos gráficos no idioma padrão da página "Detalhes do app". Você pode incluir variantes do ícone, dos recursos gráficos, das capturas de tela e do vídeo promocional do app.
- Se os Detalhes do app só estiverem disponíveis em um idioma: os experimentos com elementos gráficos padrão serão exibidos para todos os usuários.
- Se você tiver adicionado recursos gráficos localizados em um idioma específico: os usuários que acessarem o app nesse idioma serão excluídos dos experimentos com elementos gráficos padrão. Por exemplo, se o idioma padrão do app for inglês e houver recursos gráficos traduzidos para o francês, os usuários que virem o app em francês serão excluídos do experimento, mesmo se você estiver testando o ícone.
Os experimentos localizados permitem testar o ícone do app, os recursos gráficos, as capturas de tela, o vídeo promocional e/ou as descrições do app em até cinco idiomas. As variantes do experimento só serão exibidas aos usuários que acessarem os Detalhes do app nos idiomas selecionados.
Se os Detalhes do app estiverem disponíveis em um só idioma, os experimentos localizados serão exibidos somente para os usuários que estiverem vendo o app no idioma padrão.
Etapa 1: criar um experimento
Para criar um experimento no Play Console, faça o seguinte:
- Abra o Play Console e acesse a página Experimentos na página "Detalhes do app" (Crescimento > Presença na loja > Experimentos na página "Detalhes do app").
- Clique em Criar experimento.
- Insira os detalhes do experimento:
- Nome do experimento: insira um nome de até 50 caracteres.
- Página "Detalhes do app": selecione onde você quer fazer o experimento.
- Tipo de experimento: escolha Experimento com elementos gráficos padrão ou Experimento localizado.
- Clique em Próxima.
- Avance para as instruções da etapa 2.
Etapa 2: configurar o experimento
Depois de criar um experimento, será possível selecionar os Detalhes do app, as variantes e os atributos que você pretende testar.
Para configurar o experimento, faça o seguinte:
- Siga as instruções exibidas na tela para selecionar uma página "Detalhes do app" e adicionar as metas do experimento, como métrica, público-alvo, variantes e outras configurações.
- Para mais informações e dicas, veja a tabela abaixo.
- Para iniciar o experimento, na parte superior da página, clique em Executar experimento.
- Para concluir a configuração do experimento mais tarde, clique em Salvar.
Ao configurar o experimento, é necessário fornecer as informações da página "Detalhes do app" descritas na tabela abaixo.
| Campo | Descrição | Exemplos e dicas |
|---|---|---|
| Nome do experimento |
Esse nome só aparece no Play Console para identificar o experimento. Ele não é exibido aos usuários. |
|
| Página "Detalhes do app" | Indica a versão principal ou personalizada da página "Detalhes do app" que você quer testar. |
Depois de iniciar um experimento, o nome dos Detalhes do app personalizados exibido será o mesmo usado antes de você começar o teste. Se você atualizar o nome dos Detalhes do app personalizados depois do início do experimento, ele não será alterado durante o processo de teste. Para evitar confusões durante os experimentos, é recomendável excluir as páginas "Detalhes do app" personalizadas que não são usadas e criar novas versões quando necessário. |
Ao configurar o experimento, é necessário fornecer as informações das metas do experimento descritas na tabela abaixo. Essas configurações irão mudar a precisão do experimento e quantas instalações são necessárias para alcançar um resultado.
| Campo | Descrição | Exemplos e dicas |
|---|---|---|
| Métrica desejada | É a métrica que será usada para determinar o resultado do experimento. |
Você tem duas opções:
|
| Variantes | É o número de variantes experimentais para testar em relação à página "Detalhes do app" atual. O teste de uma única variante significa que levará menos tempo para concluir o experimento. |
Para adicionar uma nova versão ao experimento, selecione outra opção no menu suspenso "Variantes". É possível adicionar até três variantes por experimento, além da versão atual. |
| Público-alvo do experimento |
É a porcentagem de visitantes da página "Detalhes do app" que irão ver uma variante experimental e não a versão atual da página. Esses visitantes serão divididos igualmente entre as variantes. |
Se você digitar 30% como seu público-alvo, os outros 70% dos visitantes da página "Detalhes do app" irão ver a versão atual. Se você tiver um público-alvo de 30% e duas variantes do seu experimento, cada variante será exibida a 15% dos usuários. Durante o experimento, cada usuário só verá uma variante ou a versão atual da sua página. |
| Efeito detectável mínimo | É a diferença mínima entre as variantes e a versão atual necessária para indicar qual tem o melhor desempenho. Se a diferença for menor do que esse valor, o experimento indicará um empate. | |
| Nível de confiança | É a frequência com que o intervalo de confiança fornecido pelo experimento tem o desempenho real da página "Detalhes do app". |
Ao aumentar o nível de confiança, a probabilidade de um falso positivo diminuirá. Observação: escolher nível de confiança de 90% significa que um em cada dez experimentos pode registrar um falso positivo |
|
Atributos |
Selecione o tipo de item que você quer testar em comparação com as informações atuais. |
Para que os experimentos sejam mais eficazes, teste um atributo de cada vez. Só é possível testar as descrições breve e completa em experimentos localizados. Ao testar recursos gráficos, siga os requisitos de tamanho e tipo de arquivo. |
Se você clicar em Editar estimativas ao inserir as informações de metas do experimento será possível mudar os valores diários estimados listados na tabela abaixo. Esses valores irão ajudar a calcular a duração do experimento. Eles podem ser diferentes do desempenho observado.
| Campo | Descrição | Exemplos e dicas |
|---|---|---|
| Visitas diárias de novos usuários | É o número estimado de visitantes da página "Detalhes do app" que não tinham instalado o app antes. | |
| Taxa de conversão | É a porcentagem estimada de visitantes que serão convertidos na métrica desejada. |
Se a métrica desejada for "Novas instalações", por exemplo, a taxa de conversão será a porcentagem estimada de visitantes que serão convertidos em novas instalações. |
| Novas instalações retidas diárias |
É o número estimado de usuários que irão instalar o app pela primeira vez e o manter instalado por um dia. |
Saiba mais em Ver descrições de estatísticas, métricas e exemplos. |
| Novas instalações diárias |
É o número estimado de usuários que irão visitar sua página "Detalhes do app" e instalar o app pela primeira vez. |
Saiba mais em Ver descrições de estatísticas, métricas e exemplos. |
Etapa 3: revisar e aplicar os resultados
Para revisar e aplicar os resultados, faça o seguinte:
- Abra o Play Console e acesse a página Experimentos na página "Detalhes do app" (Crescimento > Presença na loja > Experimentos na página "Detalhes do app").
- Selecione a seta para a direita na linha da tabela do experimento que você quer analisar. Consulte as tabelas dos experimentos na página "Detalhes do app" abaixo para saber mais sobre como os detalhes são exibidos.
- Na seção "Resultados", veja um resumo dos resultados do experimento. Os resultados são baseados na métrica desejada.
Os resultados irão mostrar quais das opções têm o melhor desempenho ou um desempenho melhor do que a página "Detalhes do app" atual. Você também verá uma explicação desse resultado com base no intervalo de confiança e no efeito detectável mínimo, além de uma ação recomendada (se aplicável). Você receberá o resultado "Mais dados necessários" se não houver dados suficientes para um resultado.
- A próxima ação depende dos resultados do experimento:
- Se uma variante tiver um bom desempenho, será recomendado fazer o uso dela.
- Se o resultado for "Mantenha seu experimento em execução para coletar mais dados", volte mais tarde.
- Se muitas variantes tiverem um desempenho melhor do que a página "Detalhes do app" ou empatarem com ela, revise os resultados para decidir qual você quer aplicar.
- Se a página "Detalhes do app" atual tiver o melhor desempenho, clique em Manter a página "Detalhes do app" atual.
Depois de configurar os experimentos, você verá os seguintes detalhes em Experimentos na página "Detalhes do app". Os detalhes do experimento são organizados em quatro tabelas, como listado abaixo. Para saber mais detalhes, selecione a seta para a direita na linha da tabela do experimento que você quer ver.
Rascunhos
- Nome do experimento: é o nome usado
- Página "Detalhes do app": é onde o experimento está sendo executado
- Tipo de experimento: indica se são recursos gráficos padrão ou localizados
- Detalhes: é o número de variantes exibidas para a porcentagem do público-alvo.
Em andamento
- Nome do experimento: é o nome usado
- Página "Detalhes do app": é onde o experimento está sendo executado
- Tipo de experimento: indica se são recursos gráficos padrão ou localizados
- Data de início: indica a data em que o experimento começou
- Detalhes: é o número de variantes exibidas e a porcentagem dos usuários
Concluído
- Nome do experimento: é o nome usado
- Página "Detalhes do app": é onde o experimento está sendo executado
- Tipo de experimento: indica se são recursos gráficos padrão ou localizados
- Data de início: indica a data em que o experimento começou
- Detalhes: é o número de variantes exibidas e a porcentagem dos usuários
- Resultado: é o resultado do seu experimento.
Experimentos anteriores
- Nome do experimento: é o nome usado
- Página "Detalhes do app": é onde o experimento está sendo executado
- Tipo de experimento: indica se são recursos gráficos padrão ou localizados
- Data de início: indica a data em que o experimento começou
- Data de término: indica a data em que o experimento foi concluído
- Status: mostra se o experimento foi ou não aplicado
Depois de selecionar um experimento, você poderá ver as métricas de usuário e instalação que resumem o desempenho de cada variante.
Métricas de usuário
| Métrica | Definição |
|---|---|
| Novas instalações |
São usuários únicos que instalaram seu app pela primeira vez durante o experimento. Os dados são ajustados para considerar a parcela de público-alvo. |
| Instalações retidas (1 dia) |
São usuários únicos que instalaram seu app pela primeira vez e o retiveram por pelo menos um dia após a instalação durante o experimento. Os dados são ajustados para considerar a parcela de público-alvo. |
| Pré-registros retidos: disponível somente para alguns parceiros do Google Play | É o número de usuários que fizeram o pré-registro e o mantiveram ativo por pelo menos um dia. |
Resultados
Você pode ver as métricas que mostram os resultados do seu experimento de duas maneiras diferentes:
- Atual: é o número de usuários únicos.
- Ajustado: é o número de usuários únicos dividido pela parcela de público-alvo.
Se você quiser analisar dados absolutos sobre instalações, use informações atuais. Se você quiser analisar dados que foram ajustados para contabilizar diferentes parcelas de público-alvo (por exemplo, se 90% do seu público-alvo viu uma versão, e 10% dele viu outra), use dados ajustados.
| Item | Definição e exemplos |
|---|---|
| Desempenho |
Alteração estimada do desempenho de instalações em comparação com a versão atual. O desempenho só será exibido quando seu experimento tiver dados suficientes. Em geral, conforme o experimento tiver mais tempo de atividade e de coleta de dados, o intervalo de desempenho das variantes será mais restrito e preciso. Por exemplo: se uma das variantes tiver um intervalo de desempenho de + 5% a + 15%, a mudança está entre esses valores, sendo a alteração mais provável no desempenho a média entre essas duas porcentagens, cerca de + 10%. |
| Instalações (ajustadas) |
|
| Instalações (atuais) |
|
Métricas de instalação (descontinuadas)
As métricas a seguir foram usadas para experimentos iniciados até 24 de janeiro de 2019. Os experimentos iniciados antes dessa data ainda incluem essas estatísticas. No entanto, novos experimentos usarão somente as métricas de usuário "Novas instalações" e "Instalações retidas (1 dia)".
| Métrica | Definição e exemplos |
|---|---|
| Instalações em dispositivos ativos |
|
| Instalações por usuário |
|
| Desinstalações por usuário |
|
Experimentos que usam métricas descontinuadas
Em setembro de 2019, os experimentos com alguma das métricas obsoletas listadas acima passaram a ser encerrados automaticamente. Considere isso no seu planejamento e use as métricas mais recentes para os experimentos na página "Detalhes do app".
Você pode ver os resultados de experimentos finalizados em Experimentos encerrados na página de experimentos da loja.
Inscrever-se para receber notificações sobre experimentos
Para receber notificações e e-mails quando os experimentos forem concluídos, configure suas preferências de notificação no Play Console.
Para saber mais sobre as notificações por e-mail, veja como gerenciar as informações da conta de desenvolvedor.