Vilken metod används för att beräkna experimentens konfidensintervall och statistiska signifikans?
Resampling med jackknife-metoden tillämpas på kategoriserad data för att beräkna sampelvariansen av den procentuella förändringen av ett mätvärde. Därefter körs tvåsidig signifikanstestning med ett konfidensintervall på 95 %.
Varför kategoriseras data?
Att dela upp data i kategorier (”bucketing”) är ett sätt att minska effekterna av mindre observationsfel. Om du vill läsa mer om fördelarna med kategorisering av data kan du börja med den här artikeln.
Även om informationen inte är normalfördelad kommer kategoriserad data i stort sett att följa normalfördelningen baserat på den centrala gränsvärdessatsen, förutsatt att det finns tillräckligt många observationer per kategori. Jackknife-metoden används för att beräkna konfidensintervallet i situationer då det inte finns tillräckligt med observationer per kategori.
Resampling med jackknife-metoden
Google använder resampling med jackknife-metoden som standard eftersom den är en mångsidig metod som ger hög täckning. Den är också effektiv när det gäller att upptäcka avvikande värden och minska risken för metodfel i sampeluppskattningen. Metoden är särskilt användbar när det inte finns tillräckligt med data för att få en exakt uppskattning med den centrala gränsvärdessatsen. Metoden används därför på kategoriserad data för att ytterligare öka exaktheten i konfidensintervallen.
En allmän översikt över resampling med jackknife-metoden finns här. Du hittar en mer ingående beskrivning av fördelarna med metoden i den här akademiska uppsatsen.
Kan externa annonsörer sammanställa resultat från flera experiment i efterhand och göra nya statistiska beräkningar baserat på sammanställningen?
Nej, annonsörer har inte åtkomst till data på användarnivå för att återskapa kategorier och köra jackknife-algoritmen. Vi har för närvarande ingen möjlighet att göra detta för våra kunders räkning.
Påverkas fördelningen av auktionsandelen på experimentkampanjen och den ursprungliga kampanjen av inriktningen?
Nej, inriktningen påverkar inte fördelningen. Fördelningen tillämpas på kvalificerade auktioner innan inriktningen tillämpas. En fördelning på 50:50 innebär exempelvis att experimentkampanjen och den ursprungliga kampanjen deltar i lika många auktioner.
Vilka villkor tillämpas för att säkerställa ett korrekt A/A-test?
I ett A/A-test är experimentkampanjen och den ursprungliga kampanjen identiska under hela testets varaktighet (till exempel inga skillnader i inställningarna på annons-/annonsgruppsnivå eller i annonsgodkännanden). Eventuella ändringar som görs under A/A-testet måste göras i både experimentkampanjen och den ursprungliga kampanjen samtidigt.
Vilka är de förväntade resultaten av ett A/A-test?
Det bör inte finnas några statistiskt säkerställda skillnader i klick, exponeringar, klickfrekvens eller kostnad per klick.
Vad är skillnaden mellan sökbaserad och cookiebaserad fördelning?
Detta är två olika alternativ för att bestämma vad användarna kommer att se. Med sökbaserad experimentfördelning ser användarna slumpmässigt experimentkampanjen eller den ursprungliga kampanjen vid varje sökning. Om samma användare söker flera gånger kan de se både experimentkampanjen och den ursprungliga kampanjen. Med cookiebaserad experimentfördelning ser användarna en enda version av kampanjen oavsett hur många gånger de söker. Detta kan förhindra att resultaten påverkas av andra faktorer.
Hur många kategorier används?
Tjugo kategorier vardera används i den ursprungliga kampanjen och experimentkampanjen. Om det finns för många kategorier kan det ta för lång tid att få statistiskt säkerställda resultat. Om kategorierna är för få är det inte säkert att beräkningarna av konfidensintervallen blir korrekta. Detta ger en bra avvägning mellan praktiska krav och statistisk tillförlitlighet.
