Que método é que a equipa de experiências utiliza para calcular os intervalos de confiança e a relevância estatística?
A reamostragem através do método Jackknife é aplicada a dados agrupados para calcular a variação das amostras da alteração percentual de uma métrica. Posteriormente, são executados testes bilaterais à relevância com o intervalo de confiança de 95%.
Porquê agrupar os dados?
O agrupamento de dados minimiza os efeitos dos erros de observação menores. Se pretender saber mais acerca do motivo pelo qual o agrupamento de dados é útil, este é um bom ponto de partida.
Mesmo que os dados não sejam distribuídos normalmente, os dados agrupados serão distribuídos de forma praticamente normal com base no teorema do limite central, desde que existam observações suficientes por agrupamento. Para processar os casos em que não existem observações suficientes por agrupamento, o método Jackknife é utilizado para calcular o intervalo de confiança.
Porquê utilizar a reamostragem através do método Jackknife?
A reamostragem através do método Jackknife é a norma na Google, pois é um método versátil que fornece um nível elevado de cobertura. Também é eficaz para detetar valores atípicos e reduzir a parcialidade da amostragem estimada. Além disso, é particularmente útil nos casos em que não existem dados suficientes para obter uma estimativa precisa com o teorema do limite central, pelo que é utilizada nos dados agrupados para continuar a aumentar a precisão dos nossos intervalos de confiança.
Encontra uma vista geral da reamostragem através do método Jackknife aqui. Se pretender obter mais explicações acerca da utilidade desta reamostragem, este documento fornece mais detalhes.
Os anunciantes externos podem agregar dados de desempenho de várias experiências depois de serem executadas e recalcular as estatísticas ao nível de agregação?
Não, os anunciantes não têm acesso a dados ao nível do utilizador para voltar a criar agrupamentos e executar o algoritmo do método Jackknife. Atualmente, não existem ferramentas internas para o efetuar em nome dos nossos clientes.
A segmentação afeta a forma como a divisão das quotas do leilão é aplicada à experiência e à campanha original?
A segmentação não afeta a divisão. Aplica-se a divisão aos leilões elegíveis antes de a segmentação ser aplicada. Por exemplo, uma divisão de 50:50 significa que a experiência e o original são introduzidos no mesmo número de leilões.
Quais são as condições para garantir um teste A/A verdadeiro?
Um teste A/A é aquele em que a experiência e o original são idênticos durante o teste (nenhuma diferença nos anúncios da campanha/grupos de anúncios/definições, etc., e nenhuma diferença nas aprovações dos anúncios). Quaisquer alterações efetuadas durante o teste A/A teriam de ser realizadas em simultâneo à experiência e aos grupos originais.
Quais são os resultados esperados de um teste A/A?
Não devem existir diferenças estatisticamente significativas nos cliques, impressões, CTR ou CPC.
Qual é a diferença entre a divisão baseada em pesquisa e a divisão baseada em cookies?
Existem duas opções diferentes para decidir qual o tratamento que um utilizador vai receber. Com as divisões de experiência baseadas em pesquisa, os utilizadores são colocados aleatoriamente na experiência ou na campanha original sempre que ocorrer uma pesquisa. É possível que o mesmo utilizador possa ver a experiência e a campanha original se pesquisar várias vezes. Com as divisões de experiência baseadas em cookies, os utilizadores podem ver apenas uma versão da sua campanha, independentemente do número de vezes que pesquisem. Isto pode ajudar a garantir que não haja interferência de outros fatores nos resultados.
Quantos agrupamentos são utilizados?
São utilizados vinte agrupamentos no grupo de controlo e vinte agrupamentos no grupo de tratamento. Se existirem demasiados agrupamentos, a obtenção de resultados estatisticamente significativos poderá demorar muito tempo. Se existirem muito poucos agrupamentos, os cálculos do intervalo de confiança poderão não ser precisos. Isto resulta num bom equilíbrio entre requisitos práticos e poder estatístico.
