Jakiej metody używa zespół ds. eksperymentów do obliczania przedziału ufności i istotności statystycznej?
Do obliczania wariancji próbki zmiany procentowej wartości w raportach na podstawie zgrupowanych danych stosowana jest metoda ponownego próbkowania typu „scyzoryk” (ang. jackknife). Później następuje dwuczynnikowe sprawdzanie ufności z wykorzystaniem 95-procentowego przedziału ufności.
Dlaczego dane są grupowane?
Grupowanie danych zmniejsza wpływ drobnych błędów obserwacyjnych. Więcej informacji o przydatności grupowania danych znajdziesz tutaj.
Nawet jeśli dane są niezgodne z rozkładem normalnym, po zgrupowaniu staną się z nim w przybliżeniu zgodne na podstawie centralnego twierdzenia granicznego, o ile na każdą grupę przypada wystarczająco dużo obserwacji. W przypadkach, w których jest za mało obserwacji na grupę, do obliczania przedziału ufności stosuje się metodę scyzoryka.
Dlaczego używane jest ponowne próbkowanie metodą scyzoryka?
Ponowne próbkowanie metodą scyzoryka jest standardowo używane przez Google, ponieważ ten uniwersalny algorytm sprawdza się w wielu zastosowaniach. Jest też skuteczny w wykrywaniu ekstremów i ograniczaniu błędów systematycznych przy ustalaniu szacunkowej wartości próbek. Na dodatek jest szczególnie użyteczny w sytuacji, gdy niedobór danych uniemożliwia uzyskanie dokładnego oszacowania na podstawie centralnego twierdzenia granicznego. Używa się go wtedy do zgrupowanych danych, by zwiększyć precyzję przedziałów ufności.
Ogólne omówienie ponownego próbkowania metodą scyzoryka możesz znaleźć tutaj. Pełniejsze omówienie jego przydatności zawiera ten artykuł.
Czy zewnętrzni reklamodawcy mogą agregować wyniki skuteczności z wielu eksperymentów po ich przeprowadzeniu, a potem ponownie obliczyć statystyki na poziomie zagregowanych danych?
Nie, reklamodawcy nie mają dostępu do danych na poziomie użytkownika, więc nie mogą odtworzyć grup danych i zastosować do nich algorytmu scyzoryka. Nie ma obecnie żadnych wewnętrznych narzędzi do wykonywania tych operacji w imieniu naszych klientów.
Czy kierowanie ma wpływ na sposób podziału aukcji między kampanię eksperymentalną a oryginalną?
Kierowanie nie ma na to wpływu. Podział obejmuje kwalifikujące się aukcje jeszcze przed zastosowaniem kierowania. Na przykład podział 50:50 oznacza, że kampania eksperymentalna i oryginalna biorą udział w tej samej liczbie aukcji.
Jakie warunki trzeba spełnić, aby wykonać prawdziwy test A/A?
W teście A/A kampania eksperymentalna jest identyczna z oryginalną przez cały czas trwania testu (żadnych różnic pod względem reklam, grup reklam, ustawień, zatwierdzeń reklam itd.). Wszelkie zmiany dokonywane w trakcie testu A/A należy wprowadzać jednocześnie w kampanii eksperymentalnej i oryginalnej.
Jakie są oczekiwane wyniki testu A/A?
Nie powinno być żadnych istotnych statystycznie różnic pod względem liczby kliknięć, liczby wyświetleń oraz wartości CTR czy CPC.
Czym różni się podział według wyszukiwania od podziału według pliku cookie?
Wybór jednej z tych dwóch opcji decyduje o tym, co zobaczą użytkownicy. W przypadku podziału według wyszukiwania użytkownicy są przy każdym wyszukiwaniu losowo przydzielani do kampanii eksperymentalnej lub oryginalnej. Jeśli użytkownik wiele razy przeprowadza wyszukiwanie, może zobaczyć zarówno eksperymentalną, jak i oryginalną kampanię. Podział według pliku cookie powoduje, że użytkownicy widzą tylko jedną wersję kampanii niezależnie od tego, ile razy wykonują wyszukiwanie. Dzięki temu inne czynniki nie będą miały wpływu na wynik eksperymentu.
Ilu używa się grup danych?
Używamy po 20 grup w przypadku kampanii kontrolnej i eksperymentalnej. Zbyt duża liczba grup mogłaby spowodować, że uzyskanie istotnych statystycznie wyników trwałoby za długo. Natomiast przy zbyt małej liczbie grup obliczenia przedziałów ufności mogłyby być niedokładne. W ten sposób zachowujemy właściwą równowagę między wymaganiami praktycznymi a wydajnością obliczeń statystycznych.
