Analýza A/B testu a následné kroky

Na stránce skupiny zprostředkování najdete pravidelně aktualizované údaje. Na základě těchto údajů se můžete kdykoli během 90 dnů rozhodnout použít jednu z variant. Tento krok způsobí, že se u 100 % vašich uživatelů daná varianta použije pro konfiguraci skupiny zprostředkování.

Zobrazení a sledování A/B testu:

1. Přihlaste se k účtu AdMob na adrese https://admob.google.com.
2. Na postranním panelu klikněte na Zprostředkování.
3. Vyberte skupinu zprostředkování s A/B testem, který chcete zobrazit.

Služba AdMob usnadňuje analýzu výsledků testu A/B tím, že uvádí škálované měsíční příjmy varianty A a varianty B. Škálované měsíční příjmy udávají, kolik pravděpodobně vyděláte za 28 dní, jestliže danou variantu použijete u 100 % svých uživatelů. Můžete tak objektivně porovnat jednotlivé varianty a udělat si lepší představu o tom, jak si vedou.

Poznámka: Služba AdMob začne škálované měsíční příjmy vypočítávat až po uplynutí 4 dnů od zahájení testu A/B a po dosažení 10 000 zobrazení.

V horní části stránky testu A/B se podívejte na rozdíl škálovaných měsíčních příjmů, který vám pomůže pochopit, jak moc se od sebe varianty liší.

Grafy ukazují, jak si vedou jednotlivé zdroje reklamy v jednotlivých variantách, takže můžete jednoduše porovnat jejich výkon. Tyto grafy vám pomohou snáze interpretovat výsledky experimentu. Souhrnný graf zobrazuje přehled klíčových metrik. Umístěním ukazatele myši na metriku v souhrnném grafu zjistíte, jak si jednotlivé varianty vedou v souvislosti s danou klíčovou metrikou.

Najdete zde škálované tržby, eCPM, míru shody a škálovaná zobrazení u varianty A a varianty B. Údaje se během testu průběžně aktualizují. Kliknutím na kartu jednotlivých metrik zobrazíte podrobnější spojnicový graf. Každý spojnicový graf ukazuje denní data a variantu B vykreslenou jako procentuální změnu oproti variantě A. 

Interpretace výsledků

Po zahájení testu služba AdMob porovná škálované měsíční příjmy z obou variant a určí, která varianta přináší lepší výsledky. Jakmile AdMob zjistí, že si jedna varianta vede dlouhodobě výrazně lépe než ta druhá, zobrazí vítěznou variantu na stránce testu A/B. Kromě toho vám nabídne jednu z doporučených akcí: „Zachovat původní variantu“ (pokud má lepší výkon varianta A), nebo „Použít variantu“ (pokud si vede lépe varianta B).

Pokud chcete test upravit, když je aktivní, klikněte na Upravit test. Současný test tím skončí a bude vytvořen koncept nového testu se stejným nastavením, které můžete upravit. V zájmu zajištění přesných výsledků a doporučení nelze testy upravovat v reálném čase. Nezapomínejte, že dosažení výsledků nějakou dobu trvá. Na základě počátečních výsledků proto test neukončujte předčasně.

Vítěznou variantu a zmíněnou pravděpodobnost v procentech určuje služba AdMob podle těchto kritérií:

• Konzistence, s jakou si vítězná varianta vede lépe než varianta druhá.
• Významnost rozdílu mezi oběma variantami.
• Množství dostupných údajů. Aby bylo množství údajů dostupných během testů co nejvyšší, doporučujeme vybrat reklamní jednotku s vysokou návštěvností. K určení výsledku je zapotřebí, aby bylo v testu zaznamenáno alespoň 10 000 žádostí o reklamy.

Čím větší je konzistence, rozdíl ve výkonu a množství dostupných údajů, tím větší bude i odhadovaná procentuální pravděpodobnost, že je hodnocení variant správné.

Není-li některé z těchto kritérií splněno, nebude možné vítěznou variantu určit. V takovém případě na stránce A/B testu žádné definitivní výsledky neuvidíte. Stále si ale budete moci prohlédnout testované metriky obou variant.

Nastavení alokace uživatelů pro variantu B

Pokud je alokace uživatelů nastavena na méně než 50 %, použije se pro údaje varianty B poměrný výpočet. Údaje obou variant tak stále můžete objektivně porovnat, protože Služba AdMob vypočítá údaje pro variantu B tak, aby odpovídaly rovnoměrnému rozdělení uživatelů.

Je-li například alokace uživatelů u varianty B nastavena na 10 %, budou odhadované příjmy vynásobeny 9. Díky tomu je možné objektivní srovnání s variantou A (která má alokaci nastavenou na 90 %). Jestliže tedy varianta B vydělává 10 $, budou vypočtené příjmy varianty B činit 90 $.

Zahájení akce

Než provedete případnou akci, doporučujeme nechat test běžet alespoň dva týdny.Během 90 dnů se můžete kdykoli rozhodnout pro použití jedné z variant. Tento krok způsobí, že se u 100 % vašich uživatelů daná varianta použije pro konfiguraci skupiny zprostředkování. Při rozhodování o použití určité varianty se vždy zamyslete nad rozdílem v odhadovaných příjmech i nad procentuální odhadovanou pravděpodobností.

Tip: Kliknutím na Zobrazit přehled zobrazíte podrobnější analýzu výsledků testu.

Můžete buď zachovat stávající variantu A, nebo použít variantu B:

• Pokud chcete vybrat variantu A, klikněte na Zachovat variantu A. V tomto případě bude zachována původní konfigurace skupiny zprostředkování.
• Pokud chcete vybrat variantu B, klikněte na Použít variantu B. V tomto případě bude ve vašem účtu použito nastavení varianty.

Jestliže si během 90 dnů žádnou variantu nevyberete, test se zastaví a u 100 % uživatelů se použije varianta A (bez ohledu na to, která z variant v testu zvítězila).

Po ukončení experimentu budete mít dalších 30 dní na to, abyste si variantu vybrali. Poté platnost testu vyprší a varianta B bude smazána.

Poznámka: Další informace o A/B testech najdete v přehledu zprostředkování.