Analýza A/B testu a prijatie opatrení

Pravidelne aktualizované údaje nájdete na stránke skupiny sprostredkovania. Na základe týchto údajov môžete kedykoľvek v priebehu 90 dní test ukončiť a vybrať niektorý z variantov. Takýto výber znamená, že sa rozhodnete používať jeden z variantov ako konfiguráciu skupiny sprostredkovania pre 100 % používateľov.

Ak chcete získať prístup k A/B testu a sledovať ho, postupujte takto: 

1. Prihláste sa do účtu AdMob na https://apps.admob.com.
2. Na bočnom paneli kliknite na Sprostredkovanie.
3. Vyberte skupinu sprostredkovania s A/B testom, ktorý chcete zobraziť.

AdMob vám pomáha analyzovať výsledky A/B testu vytváraním prehľadov škálovaných mesačných zárobkov variantu A a variantu B. Škálované mesačné zárobky predstavujú vaše odhadované zárobky za 28 dní, ak by ste tento variant použili pre 100 % používateľov. To umožňuje získať spravodlivé porovnanie a presnejšiu predstavu o výkonnosti jednotlivých variantov.

Poznámka: AdMob začne počítať vaše škálované mesačné zárobky 4 dni po spustení A/B testu a dosiahnutí 10 000 zobrazení.

Ak chcete pochopiť, aký veľký je rozdiel medzi jednotlivými variantmi, pozrite si rozdiel škálovaných mesačných zárobkov v hornej časti stránky A/B testu.

Uvidíte aj odhadované zárobky, eCTZ a mieru zhody variantu A a variantu B, ktoré sa budú počas testu aktualizovať. Tieto údaje tiež vyjadrujú výkonnosť jednotlivých zdrojov reklamy v jednotlivých variantoch, aby ste mohli jednoducho porovnať výkonnosť zdroja reklamy v oboch variantoch.

Interpretácia výsledkov

Po spustení testu služba AdMob porovnáva škálované mesačné zárobky v oboch variantoch, aby zistila, ktorý variant dosiahne najvyššiu výkonnosť. Keď zistí, že výkonnosť jedného variantu bola konzistentne a podstatne lepšia než v prípade druhého variantu, zobrazí víťazný variant na stránke A/B testu. Okrem toho vám ponúkneme odporúčaný krok: Zachovať originál (ak vyššiu výkonnosť dosahuje variant A) alebo Použiť variant (ak vyššiu výkonnosť dosahuje variant B).

Zobrazí sa aj odhadovaná percentuálna pravdepodobnosť, s akou AdMob považuje určitý variant za víťaza (napríklad: 99 % (odhadovaná) pravdepodobnosť, že variant A bude mať lepšiu výkonnosť ako variant B).

AdMob určuje víťazný variant a odhadovanú percentuálnu pravdepodobnosť na základe nasledujúcich kritérií:

• s akou konzistentnosťou víťazný variant dosahuje lepšiu výkonnosť než druhý variant,
• miera rozdielu medzi oboma variantmi,
• množstvo dostupných údajov. Ak chcete zvýšiť množstvo údajov dostupných počas testu, odporúčame vybrať reklamnú jednotku s vysokou návštevnosťou. Upozorňujeme, že AdMob môže určiť výsledky až potom, ako test zaznamená aspoň 10 000 žiadostí o reklamy.

Čím väčšia je konzistentnosť, rozdiel vo výkonnosti a množstvo údajov, tým presnejšie bude môcť AdMob určiť odhadovanú percentuálnu pravdepodobnosť.

Ak niektoré z týchto kritérií nie sú splnené, AdMob nedokáže určiť víťazný variant. V takom prípade sa na stránke A/B testu nezobrazia žiadne jednoznačné výsledky. Naďalej však budete môcť zobraziť metriky z testu pre jednotlivé varianty.

Keď je pridelenie používateľov nastavené na menej ako 50 %, údaje pre variant B zodpovedajú úmerným vypočítaným hodnotám. Takto je porovnanie údajov objektívne, pretože AdMob vypočítava údaje pre variant B tak, ako keby mal tento variant pridelené rovnaké percento používateľov.

Ak má variant B nastavené pridelenie používateľov napríklad na 10 %, odhadované zárobky budú vynásobené číslom 9. Takto ho môžete objektívne porovnať s variantom A (ktorý má pridelenie používateľov na úrovni 90 %). Ak teda variant B zarobí 10 €, úmerná vypočítaná hodnota zárobkov variantu B je 90 €.

Prijatie opatrení

Opatrenia vám odporúčame prijať až potom, ako ponecháte test spustený aspoň dva týždne. Niektorý z variantov môžete vybrať kedykoľvek počas 90 dní. Takýto výber znamená, že sa rozhodnete používať jeden z variantov ako konfiguráciu skupiny sprostredkovania pre 100 % používateľov. Pri rozhodovaní o výbere niektorého z variantov zohľadňujte rozdiel v odhadovaných zárobkoch a odhadovanej percentuálnej pravdepodobnosti.

Môžete sa rozhodnúť ponechať variant A alebo použiť variant B:

• Ak chcete vybrať variant A, kliknite na Zachovať originál. Takto sa zachová pôvodná konfigurácia skupiny sprostredkovania.
• Ak chcete vybrať variant B, kliknite na Použiť variant. Takto sa vo vašom účte použijú nastavenia variácie.

Ak do 90 dní nevyberiete žiadny z variantov, test sa zastaví a variant A sa použije na 100 % používateľov aj v prípade, že nebol víťazom testu.

Po skončení experimentu máte na výber variantu 30 dní. Potom platnosť testu vyprší a variant B sa odstráni.

Poznámka: Viac o A/B testoch zistíte v prehľade sprostredkovania.