Visão geral dos relatórios

Agora que você realizou um experimento, vamos analisar os resultados.

Para monitorar um experimento em execução ou ver os resultados de um que já foi concluído, clique na guia "Relatórios", na parte superior da página de detalhes. Você também pode conferir os dados de entrada e os cálculos brutos no Google Analytics.

Inferência bayesiana

O Optimize usa inferência bayesiana para gerar os relatórios. Esse é um método de análise estatística que permite ao Optimize refinar continuamente os resultados à medida que mais dados são coletados. Embora a inferência bayesiana seja cara e envolva processos computacionais, ela oferece quatro benefícios importantes em relação às abordagens mais tradicionais:

  • Permite que o Optimize calcule probabilidades diretamente para responder com mais eficiência a perguntas como: "Qual é a probabilidade de a nova variante ser melhor do que a original?".
  • Evita um equívoco comum de que os valores-p equivalem às probabilidades, permitindo que o Optimize forneça dados relevantes e acionáveis.
  • Permite que o Optimize determine a probabilidade de qualquer variante ser a melhor variação, sem os problemas associados a abordagens de teste de hipóteses.
  • Permite que você encerre um experimento se o Optimize descobrir que não haverá mais ganhos de aprendizado.

Saiba mais sobre a inferência bayesiana e a metodologia estatística do Optimize.

Elementos de um relatório do Optimize

Os relatórios do Optimize contêm uma grande quantidade de dados sobre o experimento, incluindo o status e o desempenho das variantes em relação ao seu objetivo. Eles mostram um resumo na parte superior com informações importantes sobre o status e dados acionáveis em uma série de gráficos e tabelas.

Captura de tela da visão geral dos relatórios.

Cabeçalho de resumo

O cabeçalho de resumo exibe dados acionáveis sobre o objetivo principal do experimento, incluindo status, sessões e recomendações, na parte superior do relatório. Neste exemplo, você vê o status do seu experimento (em execução), o número de sessões experimentais (54 mil), a recomendação (manter em exibição) e os horários de início e término.

Relatórios do Optimize, cabeçalho de resumo com mensagem de status.

Mensagens de status

O cabeçalho de resumo mostra em destaque uma mensagem de status e uma submensagem que fornecem informações importantes sobre seu experimento. Veja a seguir algumas dessas mensagens.

Aguardando dados

O Optimize precisa de tempo para processar os dados fornecidos pelo Google Analytics. Portanto, essa mensagem é normal. As programações de coleta e processamento de informações variam de acordo com o produto, e é comum haver um pequeno atraso entre as duas etapas.

Aguarde um ou dois dias para que os primeiros resultados apareçam. Na coluna "Visitantes ativos" da lista de experimentos, você pode verificar se seu experimento está recebendo visitas. Ela mostra o número de visitantes ativos em tempo real quando você clica em "Iniciar". .

Nenhuma sessão experimental

Você não recebeu nenhuma sessão experimental. Isso significa que algo está errado. Para resolver esse problema, faça o seguinte:

  • Verifique os diagnósticos de instalação do Optimize para garantir que não haja erros. Por exemplo, confira se você instalou o snippet do Optimize no seu site e se vinculou a ferramenta à propriedade correta do Google Analytics.
  • Verifique as regras de segmentação da sua página. Por exemplo, "igual" é muito rígido e omite os visitantes com parâmetros de consulta no URL. Tente usar correspondências mais flexíveis que permitem esses parâmetros, maiúsculas e minúsculas e http/https.
  • Verifique se há visitantes no seu site que correspondam às regras de segmentação por público-alvo.

Não há sessões experimentais suficientes

Seu experimento recebeu sessões, mas não o suficiente em todas as variantes para determinar resultados. O Optimize precisa de pelo menos uma sessão experimental por dia para cada variante. Talvez haja um problema de segmentação em algumas das suas páginas ou você tenha usado ponderações das variantes que não permitem tráfego suficiente para cada uma delas. Por exemplo, atribuir 100% do tráfego à sua variante e 0% à original. Ajuste as ponderações das variantes para resolver o problema.

DICA: se você quiser enviar todo o tráfego para uma variante, crie uma personalização.

Mantenha seu experimento em execução

Você verá essa mensagem em dois cenários:

  1. O Optimize não informará resultados, a menos que o experimento tenha recebido dados durante pelo menos duas semanas. Seu experimento precisa ficar em execução por tempo suficiente para considerar variações cíclicas no tráfego da Web ao longo da semana, mesmo para sites com muito tráfego.
  2. Os dados coletados ainda não são confiáveis o suficiente para determinar um resultado. É preciso coletar mais informações. Se o experimento ainda estiver em andamento, deixe-o em execução até que pelo menos uma variante tenha uma probabilidade de 95% de superar a original (PBO, na sigla em inglês).

Nenhuma variante líder foi encontrada

O Optimize recebeu dados suficientes e concluiu que não há uma variante líder (nem uma variante nem a original). Isso significa que a implantação de uma variante terá o mesmo resultado que a implementação da original. Você já pode encerrar o experimento porque o resultado não mudará. É recomendável criar um novo experimento.

Pelo menos uma variante é melhor do que a original

Uma ou mais variantes parecem superar a original, mas não há dados suficientes para concluir qual é delas é a melhor. Você pode (1) implantar aquela com maior probabilidade de ser a melhor variação ou, se o experimento ainda estiver sendo executado, (2) esperar mais tempo para ter certeza.

A variante original é a líder

A original tem desempenho melhor do que todas as suas variantes. Convém manter a original e não implantar nenhuma das variantes. Você já pode encerrar o experimento porque o resultado não mudará. É recomendável criar um novo experimento.

Uma ou mais variantes líderes foram encontradas

O Optimize recebeu dados suficientes e concluiu que algumas das suas variantes apresentam um desempenho melhor do que a original. Também foi possível definir qual delas é a melhor. Você pode implantar a variante com maior probabilidade de ser a melhor variação (PBB, na sigla em inglês) ou qualquer uma das outras, porque todas têm um desempenho mais satisfatório do que a original atual. Você já pode encerrar o experimento porque o resultado não mudará.

Uma variante é a líder

O Optimize recebeu dados suficientes e concluiu que apenas uma das suas variantes tem um desempenho melhor do que a original. Implante ou implemente a variante líder no seu site. Você já pode encerrar o experimento porque o resultado não mudará.

DICA para a versão gratuita do Optimize: encerre um experimento quando ele não estiver sendo utilizado. Isso libera espaço na sua cota. Saiba mais sobre o que está incluído na versão gratuita do Optimize.

Cartão de objetivos

Esse cartão exibe um relatório sobre o status atual do seu experimento referente a um objetivo específico. O exemplo abaixo mostra os resultados do objetivo "Cliques em 'Resgatar a oferta'", em que o Optimize concluiu que a original tem 86% de probabilidade de ser a melhor variação (PBB). Esse cartão inclui dois tipos de informação: dados observados e análise do Optimize.

Dados observados

Os dados observados estão à esquerda da página e foram coletados da propriedade vinculada do Google Analytics a partir da data/hora exibida no canto superior direito.

Análise do Optimize

Os dados de análise do Optimize ficam à direita da página e incluem a PBB, a PBO, a taxa de conversão estimada e a melhoria estimada. O carimbo de data/hora e um link para a vista no Google Analytics são exibidos no canto superior direito do relatório.

Relatórios do Optimize, captura de tela do cartão de objetivos.

Neste exemplo, note que a variante "Oferta especial" tem um desempenho inferior à original.

Gráfico da taxa de conversão estimada

Abaixo dos dados e da análise do seu experimento, há um gráfico que mostra a taxa de conversão estimada da variante à medida que mais dados são coletados. Ele exibe o desempenho das suas variantes em relação a um objetivo escolhido no menu suspenso, no canto superior esquerdo.

As áreas coloridas no gráfico representam o intervalo em que a original e as variantes provavelmente estarão em 95% das situações. A linha no meio de um intervalo mostra o valor da mediana.

No início de um experimento, o desempenho de cada variante é bem incerto, o que resulta em intervalos mais amplos (áreas sombreadas maiores). Na maioria dos casos, o intervalo da taxa de conversão de cada variante fica menor conforme o modelo do Optimize coleta mais dados. Isso permite determinar com mais eficiência o desempenho da variante em relação à original

e prever o desempenho futuro dessa variante.

Filtros de vista do Google Analytics

Os dados usados nos relatórios do Optimize estão sujeitos a todos os filtros aplicados à vista associada do Google Analytics. No entanto, esses filtros não são considerados ao determinar se um experimento será veiculado. Por exemplo, se o experimento estiver vinculado a uma vista do Google Analytics que exclui endereços IP internos, os usuários internos serão removidos dos dados do experimento do Optimize. No entanto, esses usuários ainda poderão ver o experimento se atenderem aos requisitos de segmentação. Geralmente, convém associar o experimento a uma vista com o menor número possível de filtros.

Sem amostras

Os dados do Optimize são extraídos das tabelas de dados subjacentes do Google Analytics e não são amostrados. Além disso, a ferramenta não impõe nenhuma amostragem na interface dela. Isso significa que os dados que você vê não são uma amostra, seja para o Optimize, o Optimize 360, o Google Analytics ou o Google Analytics 360.

Saiba mais sobre dimensões do experimento e como acessar seus dados do Optimize no Google Analytics.

Isso foi útil?
Como podemos melhorá-lo?
Pesquisa
Limpar pesquisa
Fechar pesquisa
Google Apps
Menu principal
Pesquisar na Central de Ajuda
true
101337
false