Statistická metodologie v pozadí konceptů a experimentů

Jaké metody využívá tým konceptů a experimentů pro výpočet intervalů spolehlivosti a statistické významnosti?

Výpočet výběrového rozptylu procentuální změny metriky se provádí aplikací metody převzorkování Jackknife na segmentovaná data. Pak se spustí oboustranný test významnosti s použitím 95% intervalu spolehlivosti.

Proč data segmentovat?

Segmentování dat snižuje účinky drobných chyb měření. Pokud se chcete dozvědět další informace o tom, proč je segmentování dat užitečné, je dobré začít zde.

I v případě, že data nejsou distribuována normálně, segmentovaná data budou zhruba normálně distribuována na základě centrální limitní věty, pokud bude zajištěn dostatečný počet pozorování na segment. V případech, kdy počet pozorování na segment není dostatečný, se k výpočtu intervalu spolehlivosti použije metoda Jackknife.

Proč používat metodu převzorkování Jackknife?

Metoda převzorkování Jackknife je ve společnosti Google standardem, protože se jedná o univerzální metodu poskytující vysokou úroveň pokrytí. Je také účinná při detekci odlehlých hodnot a redukci zkreslení odhadu vzorků. Navíc je zvláště užitečná v situacích, kdy není dostatek dat k získání přesného odhadu za použití centrální limitní věty, a tak se používá na segmentovaná data k dalšímu zvýšení přesnosti našich intervalů spolehlivosti.

Obecný přehled metody převzorkování Jackknife naleznete zde. Hledáte-li další výklad její užitečnosti, přečtěte si podrobnosti v tomto článku

Mohou externí inzerenti agregovat výkon několika experimentů až po jejich proběhnutí a přepočítávat statistiky na agregovanou úroveň? 

Nikoliv, inzerenti nemají přístup k datům na uživatelské úrovni. Nemohou znovu vytvářet segmenty a spouštět algoritmus metody Jackknife. V současnosti neexistuje žádný interní nástroj, který by tak činil jménem našich klientů.

Ovlivňuje cílení aplikaci rozdělení podílu aukce na experiment a základní kampaň?

Cílení nemá vliv na rozdělení. Rozdělení se na vhodné aukce aplikuje před použitím cílení. Rozděleni 50:50 bude například znamenat, že experiment i kontrolní kampaň vstoupily do stejného počtu aukcí.

Jaké jsou podmínky k zajištění skutečného testu A/A?

Test A/A je takový test, ve kterém jsou experiment i kontrolní kampaň po celou dobu průběhu identické (nastavení, reklamy, reklamní sestavy atd. se neliší, schvalování reklam také ne). Jakékoliv změny prováděné v průběhu testu A/A je nutno provádět na obou stranách testu (v experimentu i v kontrolní kampani) současně. 

Jaké jsou očekávané výsledky testu A/A?

V počtech kliknutí, zobrazení, CTR nebo CPC by se neměly projevit žádné statisticky významné rozdíly. 

Jaký je rozdíl mezi rozdělením založeným na vyhledávání a na souborech cookie?

Jsou dva různé způsoby zacházení s uživatelem. V rozděleních založených na vyhledávání jsou uživatelé při každém vyhledávání náhodně umístěni do experimentální nebo do originální kampaně. Vyhledává-li uživatel opakovaně, může se stát, že uvidí postupně jak experiment, tak původní kampaň. Pokud použijete rozdělení založené na souborech cookie, uvidí uživatelé pokaždé stejnou verzi vaší kampaně bez ohledu na to, kolikrát budou vyhledávat. To může pomoci zajistit, že vaše výsledky neovlivní další faktory.

Kolik se používá segmentů?

Na kontrolní straně se používá dvacet segmentů, stejně jako na straně experimentální. Pokud by bylo segmentů příliš mnoho, získání statisticky významných výsledků by mohlo trvat neúměrně dlouho. V případě nedostatečného množství segmentů by mohly být výpočty intervalu spolehlivosti nepřesné. Takto jsou praktické požadavky a statistická síla v rovnováze.

Pomohly vám tyto informace?
Jak bychom článek mohli vylepšit?

Potřebujete další pomoc?

Chcete-li problém rychle vyřešit, přihlaste se a získejte další možnosti podpory