Analizowanie testu A/B i podejmowanie działania na podstawie jego wyników

Dane na stronie grupy zapośredniczenia są regularnie aktualizowane. W dowolnym momencie 90-dniowego okresu trwania testu możesz podjąć decyzję o jego zakończeniu na podstawie zebranych danych i wskazać wariant.Wskazanie wariantu oznacza, że chcesz go używać jako konfiguracji grupy zapośredniczenia dla wszystkich użytkowników.

Aby uzyskać dostęp do testu A/B i go monitorować:

1. Zaloguj się na swoje konto AdMob na stronie https://apps.admob.com.
2. Kliknij Zapośredniczenie na pasku bocznym.
3. Wybierz grupę zapośredniczenia w teście A/B, który chcesz wyświetlić.

Aby ułatwić analizę wyników testu A/B, AdMob podaje skalowane miesięczne zarobki w wariantach A i B. Skalowane miesięczne zarobki to szacunkowa kwota, jaką zarobisz w ciągu 28 dni, jeśli zastosujesz dany wariant do 100% użytkowników. Ta wartość zapewnia rzetelne porównanie i dokładny obraz skuteczności poszczególnych wariantów.

Uwaga: AdMob zaczyna obliczać skalowane miesięczne zarobki 4 dni po rozpoczęciu testu A/B i osiągnięciu 10 000 wyświetleń.

Sprawdź skalowaną różnicę w miesięcznych zarobkach u góry strony testu A/B, aby zobaczyć, jak duża jest różnica między wariantami.

Przejrzyj też szacunkowe zarobki, eCPM i współczynnik dopasowania w wariantach A i B, które zostaną zaktualizowane podczas testu. Te dane pokazują, jaka jest skuteczność każdego źródła reklam w poszczególnych wariantach, co umożliwia ich łatwe porównywanie ze sobą.

Interpretowanie wyników

Po rozpoczęciu testu AdMob porównuje skalowane miesięczne zarobki w obu wariantach, aby ustalić, który z nich przypuszczalnie będzie mieć lepszą skuteczność. AdMob wyświetla na stronie testu A/B zwycięski wariant, gdy już ustali, że był on regularnie i wyraźnie skuteczniejszy od drugiego wariantu. Podajemy też zalecane działanie: „Zachowaj pierwotny wariant” (jeśli skuteczniejszy jest wariant A) lub „Zastosuj wariant B” (jeśli skuteczniejszy jest wariant B).

Pokazujemy dodatkowo poziom ufności, z jakim AdMob wskazuje zwycięski wariant, czyli szacowany odsetek prawdopodobieństwa (np. „Prawdopodobieństwo (szacowane), że Wariant A będzie mieć większą skuteczność niż Wariant B wynosi 99%”).

AdMob wskazuje zwycięski wariant i oblicza szacowany odsetek prawdopodobieństwa na podstawie tych kryteriów:

• Regularność osiągania przez zwycięski wariant większej skuteczności niż drugi wariant.
• Wielkość różnicy między oboma wariantami.
• Ilość dostępnych danych. Zalecamy wybranie jednostki reklamowej o dużym natężeniu ruchu, by zwiększyć ilość danych dostępnych podczas testu. Pamiętaj, że do wskazania zwycięskiego wariantu AdMob potrzebuje co najmniej 10 000 żądań reklamy.

Im większa regularność uzyskiwania przez jeden z wariantów znacznej przewagi nad drugim pod względem skuteczności oraz im większa ilość danych, tym wyższy poziom ufności, z jakim AdMob wskazuje zwycięski wariant.

Jeśli któreś z tych kryteriów nie będzie spełnione, AdMob nie uda się wskazać zwycięskiego wariantu. W takim przypadku na stronie testu A/B nie pojawią się żadne jednoznaczne wyniki. Nadal jednak będziesz mieć dostęp do danych z testu poszczególnych wariantów.

Gdy podział użytkowników jest ustawiony na mniej niż 50%, dane o wariancie B są mnożone przez współczynnik proporcji. Oznacza to sprawiedliwe porównywanie danych, ponieważ AdMob oblicza dane o wariancie B tak, jak gdyby trafiał do niego identyczny odsetek użytkowników.

Jeśli np. podział użytkowników dla wariantu B jest ustawiony na 10%, szacowane zarobki zostaną pomnożone przez 9. Umożliwia to ich sprawiedliwe porównywanie z wariantem A (na który przypada 90% użytkowników). Jeśli więc wariant B uzyska zarobki w wysokości 10 zł, po uwzględnieniu współczynnika proporcji wyniosą one 90 zł.

Podejmowanie działania

Zalecamy, by przed podjęciem działania prowadzić test przez co najmniej 2 tygodnie.Zwycięski wariant możesz wskazać w dowolnym momencie 90-dniowego okresu trwania testu. Wskazanie wariantu oznacza, że chcesz go używać jako konfiguracji grupy zapośredniczenia dla wszystkich użytkowników.Przy podejmowaniu decyzji o wyborze wariantu weź pod uwagę różnicę w szacowanych zarobkach i poziom ufności.

Możesz zachować wariant A lub zastosować wariant B:

• Aby wybrać wariant A, kliknij Zachowaj. Oznacza to, że zachowasz pierwotną konfigurację grupy zapośredniczenia.
• Aby wybrać wariant B, kliknij Zastosuj. Oznacza to, że zastosujemy na Twoim koncie ustawienia tego wariantu.

Jeśli nie wskażesz wariantu przed upływem 90-dniowego okresu trwania testu, zostanie on zakończony, a wariant A będzie stosowany dla wszystkich użytkowników nawet wtedy, gdy nie okazał się lepszy w teście.

Przez 30 dni po zakończeniu eksperymentu masz możliwość wyboru wariantu. Po upływie tego czasu test straci ważność, a wariant B zostanie usunięty.

Uwaga: więcej informacji o testach A/B znajdziesz w Raporcie zapośredniczenia.