Qual método a equipe de experimentos usa para calcular os intervalos de confiança e a significância estatística?
O método de reamostragem Jackknife é aplicado a dados agrupados para calcular a variância de amostras relativa à alteração percentual de uma métrica. Em seguida, o teste de significância bicaudal é realizado com o uso do intervalo de confiança de 95%.
Por que agrupar os dados por classes?
Ao fazer o agrupamento dos dados por classes, há uma redução nos efeitos de pequenos erros de observação. Se você quiser saber mais sobre como esse agrupamento é útil, veja uma introdução ao tópico neste link.
Mesmo que não seja feita a distribuição normal dos dados, eles serão agrupados de maneira aproximada de acordo com a distribuição normal e com base no Teorema do limite central, desde que haja observações suficientes por grupo. Nos casos em que não há observações suficientes por grupo, o método Jackknife é usado para calcular o intervalo de confiança.
Por que vocês usam o método de reamostragem Jackknife?
O Jackknife é utilizado como padrão no Google por ser um método de reamostragem versátil com um alto grau de cobertura. Ele também é eficaz para detectar outliers e reduzir o viés da estimativa de amostras. Além disso, é especialmente útil em situações em que não há dados suficientes para chegar a uma estimativa precisa usando o Teorema do limite central. Por isso, esse método é usado com dados agrupados em classes para aumentar ainda mais a precisão dos intervalos de confiança.
Confira uma visão geral do método de reamostragem Jackknife aqui. Para mais detalhes sobre como usá-lo, leia este documento.
Os anunciantes externos podem agregar o desempenho de várias experiências após a realização delas e recalcular as estatísticas no nível agregado?
Não. Os anunciantes não têm acesso aos dados no nível do usuário para recriar os grupos e executar o algoritmo do método Jackknife. No momento, não há ferramentas internas para fazer isso em nome dos nossos clientes.
A segmentação afeta a forma como a divisão do leilão é aplicada ao experimento e à campanha original?
A segmentação não afeta a divisão, que é aplicada aos leilões qualificados antes da aplicação da segmentação. Por exemplo, uma divisão 50:50 indica que as divisões experimental e original participam do mesmo número de leilões.
Quais são as condições para garantir um verdadeiro teste A/A?
Em um teste A/A, as divisões experimental e original são idênticas durante o teste, ou seja, não há diferença nos anúncios/grupos de anúncios/configurações ou outras características das campanhas nem nas aprovações dos anúncios. Todas as alterações feitas durante o teste A/A precisam ser implementadas nas divisões experimental e original ao mesmo tempo.
Quais são os resultados esperados de um teste A/A?
Não deve haver diferenças estatisticamente significativas em cliques, impressões, CTR ou CPC.
Qual é a diferença entre a divisão com base em pesquisa e aquela com base em cookies?
Essas são as duas opções disponíveis para definir qual tratamento um usuário receberá. No caso das divisões experimentais com base em pesquisa, sempre que uma pesquisa ocorre, os usuários são incluídos de maneira aleatória na experiência ou na campanha original. Se um usuário fizer várias pesquisas, ele poderá ver a experiência e a campanha original. No caso das divisões experimentais com base em cookies, os usuários veem somente uma versão da campanha, independentemente do número de pesquisas que fizerem. Isso ajuda a garantir que outros fatores não afetem os resultados.
Quantos grupos são usados?
São usados vinte grupos na divisão de controle e vinte na de tratamento. Uma grande quantidade de grupos poderá levar muito tempo para gerar resultados estatisticamente significativos. Por outro lado, se houver poucos grupos, os cálculos de intervalo de confiança poderão ser imprecisos. Sendo assim, estabelecemos um equilíbrio entre os requisitos práticos e a eficiência estatística.