Jaké metody využívá tým experimentů při výpočtu intervalů spolehlivosti a statistické významnosti?
Výpočet výběrového rozptylu procentuální změny metriky se provádí aplikací metody převzorkování Jackknife na segmentovaná data. Pak se spustí oboustranný test významnosti s použitím 95% intervalu spolehlivosti.
Proč data segmentovat?
Segmentování dat omezuje vliv drobných chyb měření. Pokud se chcete dozvědět další informace o tom, proč je segmentování dat užitečné, je dobré začít zde.
I v případě, že data nejsou distribuována normálně, budou segmentovaná data distribuována zhruba normálně na základě centrální limitní věty, pokud bude zajištěn dostatečný počet pozorování na segment. V případech, kdy počet pozorování na segment není dostatečný, se k výpočtu intervalu spolehlivosti použije metoda Jackknife.
Proč používat metodu převzorkování Jackknife?
Metoda převzorkování Jackknife je ve společnosti Google standardem, protože se jedná o univerzální metodu poskytující vysokou úroveň pokrytí. Je také účinná při detekci odlehlých hodnot a redukci zkreslení odhadu vzorků. Navíc je zvláště užitečná v situacích, kdy není dostatek dat k získání přesného odhadu za použití centrální limitní věty, a tak se používá na segmentovaná data k dalšímu zvýšení přesnosti našich intervalů spolehlivosti.
Obecný přehled metody převzorkování Jackknife naleznete zde. Pokud se o její užitečnosti chcete dozvědět víc, přečtěte si podrobnosti v tomto článku.
Mohou externí inzerenti agregovat výkon několika experimentů až po jejich proběhnutí a přepočítávat statistiky na agregovanou úroveň?
Nikoli, inzerenti nemají přístup k datům na uživatelské úrovni. Nemohou znovu vytvářet segmenty a spouštět algoritmus metody Jackknife. V současné době neexistuje žádný interní nástroj, který by tak činil jménem našich klientů.
Ovlivňuje cílení aplikaci rozdělení podílu aukce na experiment a původní kampaň?
Cílení nemá vliv na rozdělení. Rozdělení se na vhodné aukce aplikuje před použitím cílení. Rozděleni 50:50 bude například znamenat, že experiment i původní kampaň vstoupily do stejného počtu aukcí.
Jaké jsou podmínky k zajištění skutečného testu A/A?
Test A/A je takový test, ve kterém jsou experiment i původní kampaň po celou dobu průběhu identické (nastavení, reklamy, reklamní sestavy atd. se neliší, stejně jako schvalování reklam). Jakékoliv změny prováděné v průběhu testu A/A je nutno provádět na obou stranách testu (v experimentu i v původní kampani) současně.
Jaké jsou očekávané výsledky testu A/A?
V počtech kliknutí, zobrazení, CTR nebo CPC by se neměly projevit žádné statisticky významné rozdíly.
Jaký je rozdíl mezi rozdělením založeným na vyhledávání a na souborech cookie?
Jsou dva různé způsoby zacházení s uživatelem. V rozděleních založených na vyhledávání jsou uživatelé při každém vyhledávání náhodně umístěni do experimentální nebo do originální kampaně. Vyhledává-li uživatel opakovaně, může se stát, že uvidí postupně jak experiment, tak původní kampaň. Pokud použijete rozdělení založené na souborech cookie, uvidí uživatelé pokaždé stejnou verzi vaší kampaně bez ohledu na to, kolikrát budou vyhledávat. To může pomoci zajistit, že vaše výsledky neovlivní další faktory.
Kolik se používá segmentů?
Na kontrolní straně se používá dvacet segmentů, stejně jako na straně experimentální. Pokud by bylo segmentů příliš mnoho, získání statisticky významných výsledků by mohlo trvat neúměrně dlouho. V případě nedostatečného množství segmentů by mohly být výpočty intervalu spolehlivosti nepřesné. Takto jsou praktické požadavky a statistická síla v rovnováze.
