Analýza A/B testu a prijatie opatrení

Pravidelne aktualizované údaje nájdete na stránke skupiny sprostredkovania. Na základe týchto údajov môžete kedykoľvek v priebehu 90 dní prijať rozhodnutie a vybrať niektorý variant. Takýto výber znamená, že sa rozhodnete používať jeden z variantov ako konfiguráciu skupiny sprostredkovania pre 100 % používateľov.

Ak chcete získať prístup k A/B testu a sledovať ho, postupujte takto:

1. Prihláste sa do účtu AdMob na https://admob.google.com.
2. Na bočnom paneli kliknite na Sprostredkovanie.
3. Vyberte skupinu sprostredkovania s A/B testom, ktorý si chcete pozrieť.

AdMob vám pomáha analyzovať výsledky A/B testu vytváraním reportov škálovaných mesačných zárobkov variantu A a variantu B. Škálované mesačné zárobky predstavujú vaše odhadované zárobky za 28 dní, ak by ste tento variant použili pre 100 % používateľov. To umožňuje získať spravodlivé porovnanie a presnejšiu predstavu o výkonnosti jednotlivých variantov.

Poznámka: AdMob začne počítať vaše škálované mesačné zárobky 4 dni po spustení A/B testu a dosiahnutí 10 000 zobrazení.

Ak chcete pochopiť, aký veľký je rozdiel medzi jednotlivými variantmi, pozrite si rozdiel škálovaných mesačných zárobkov v hornej časti stránky A/B testu.

Grafy znázorňujú výkonnosť jednotlivých zdrojov reklamy v jednotlivých variantoch, vďaka čomu môžete jednoducho porovnať výkonnosť zdroja reklamy v oboch variantoch. Vďaka grafom je interpretácia výsledkov experimentu pre vás jasnejšia a jednoduchšia. Graf Súhrn obsahuje prehľad kľúčových metrík. Umiestnením kurzora myši na metriku v grafe Súhrn môžete zistiť, akú výkonnosť majú jednotlivé varianty v prípade danej kľúčovej metriky.

Nájdete tu pomerné výnosy, efektívnu cenu za tisíc zobrazení, mieru zhody a škálované zobrazenia variantu A a variantu B, ktoré sa budú počas testu aktualizovať. Kliknutím na kartu každej metriky môžete podrobnejšie preskúmať čiarový graf. Každý čiarový graf zobrazuje denné údaje a vykreslený variant B ako percentuálnu zmenu v porovnaní s variantom A.

Vysvetlenie výsledkov

Poznámka: Výsledky testu sú odhadované. Predpokladané hodnoty slúžia ako referencia na optimalizáciu sprostredkovania a nie sú zárukou konečných výsledkov.

Po spustení testu služba AdMob porovnáva škálované mesačné zárobky v oboch variantoch, aby zistila, ktorý variant dosiahne najvyššiu výkonnosť. Keď zistí, že výkonnosť jedného variantu bola konzistentne a podstatne lepšia než v prípade druhého variantu, zobrazí víťazný variant na stránke A/B testu. Okrem toho vám ponúkneme odporúčanú akciu: Zachovať originál (ak vyššiu výkonnosť dosahuje variant A) alebo Použiť variant (ak vyššiu výkonnosť dosahuje variant B).

Ak chcete test upraviť, keď je aktívny, kliknite na Upraviť test. Týmto sa ukončí aktuálny test a vytvorí sa koncept nového testu s rovnakými nastaveniami, ktorý môžete upraviť. V záujme dosiahnutia presných výsledkov a odporúčaní sa testy nedajú upravovať v reálnom čase. Nezabúdajte, že dosiahnutie výsledkov trvá určitý čas, preto test neukončite predčasne na základe počiatočných výsledkov.

AdMob určuje víťazný variant a odhadovanú percentuálnu pravdepodobnosť na základe nasledujúcich kritérií:

• s akou konzistentnosťou víťazný variant dosahuje lepšiu výkonnosť než druhý variant,
• miera rozdielu medzi oboma variantmi,
• množstvo dostupných údajov. Ak chcete zvýšiť množstvo údajov dostupných počas testu, odporúčame vybrať reklamnú jednotku s vysokou návštevnosťou. Upozorňujeme, že AdMob môže určiť výsledky až potom, ako test zaznamená aspoň 10 000 požiadaviek na reklamu.

Vyššia konzistentnosť, väčší rozdiel vo výkonnosti a vyšší objem údajov umožňujú službe AdMob zvýšiť odhadovanú percentuálnu pravdepodobnosť.

Ak niektoré z týchto kritérií nie sú splnené, AdMob nedokáže určiť víťazný variant. V takom prípade sa na stránke A/B testu nezobrazia žiadne presvedčivé výsledky. Naďalej si však môžete prezerať metriky testu pre jednotlivé varianty.

Nastavenie pridelenia používateľov pre variant B

Keď je pridelenie používateľov nastavené na menej ako 50 %, údaje pre variant B zodpovedajú úmerným vypočítaným hodnotám. Takto je porovnanie údajov objektívne, pretože AdMob vypočítava údaje pre variant B tak, ako keby mal tento variant pridelené rovnaké percento používateľov.

Ak má variant B nastavené pridelenie používateľov napríklad na 10 %, odhadované zárobky budú vynásobené číslom 9. Takto ho môžete objektívne porovnať s variantom A (ktorý má pridelenie používateľov na úrovni 90 %). Ak teda variant B zarobí 10 €, zárobky variantu B sú podľa pomerného výpočtu 90 €.

Prijatie opatrení

Opatrenia vám odporúčame prijať až potom, ako ponecháte test spustený aspoň dva týždne.Niektorý z variantov môžete vybrať kedykoľvek počas 90 dní. Takýto výber znamená, že sa rozhodnete používať jeden z variantov ako konfiguráciu skupiny sprostredkovania pre 100 % používateľov. Pri rozhodovaní o výbere variantu zohľadnite rozdiel v odhadovaných zárobkoch a odhadovanú percentuálnu pravdepodobnosť.

Tip: Ak chcete výsledky testu analyzovať podrobnejšie, kliknite na Zobraziť report.

Môžete sa rozhodnúť ponechať variant A alebo použiť variant B:

• Ak chcete vybrať variant A, kliknite na Ponechať variant A. Takto sa zachová pôvodná konfigurácia skupiny sprostredkovania.
• Ak chcete vybrať variant B, kliknite na Použiť variant B. Takto sa vo vašom účte použijú nastavenia variantu.

Ak variant nevyberiete do 90 dní, test sa zastaví a variant A sa použije na 100 % používateľov aj v prípade, že nebol víťazom testu.

Po skončení experimentu máte na výber variantu 30 dní. Potom test vyprší a variant B sa odstráni.

Poznámka: Viac o A/B testoch zistíte v reporte sprostredkovania.