Analiza A/B testa i poduzimanje radnje

Podaci se redovito ažuriraju na stranici vaše medijacijske grupe. U bilo kojem trenutku tijekom 90 dana možete donijeti odluku na temelju podataka da biste završili test i obvezali se na varijantu. Obvezivanje na varijantu znači da ste izabrali jednu od varijanti kao konfiguraciju medijacijske grupe za 100% svojih korisnika. 

Da biste pristupili A/B testu i nadzirali ga: 

1. Prijavite se na AdMob račun na adresi https://apps.admob.com.
2. Kliknite Medijacija na bočnoj traci.
3. Odaberite medijacijsku grupu s A/B testom koji želite pregledati.

Da biste lakše analizirali rezultate A/B testa, AdMob izvješćuje o procijenjenoj mjesečnoj zaradi varijante A i varijante B. Procijenjena mjesečna zarada procjena je iznosa koji ćete zaraditi u 28 dana ako tu varijantu želite primijeniti na 100% korisnika. To omogućuje zadovoljavajuću usporedbu i točniju sliku izvedbe svake varijante.

Napomena: AdMob počinje računati procijenjeni mjesečni iznos zarade 4 dana nakon što pokrenete A/B test i dosegnete 10.000 pojavljivanja.

Provjerite procijenjenu razliku mjesečne zarade pri vrhu A/B testne stranice da biste razumjeli kolika je razlika između varijanti.

Također ćete vidjeti procijenjenu zaradu, eCPM i stopu podudaranja varijante A i varijante B, koja će se tijekom testiranja ažurirati. Ti podaci također pokazuju kakva je izvedba svakog izvora oglasa kako biste mogli lakše usporediti izvedbu izvora oglasa u obje varijante.

Objašnjenje rezultata

Nakon što testiranje započne, AdMob uspoređuje procijenjenu mjesečnu zaradu u obje varijante kako bi odredio koja će varijanta imati bolju izvedbu. AdMob prikazuje vodeću varijantu na A/B testnoj stranici nakon što utvrdi da je varijanta imala dosljedno i značajno bolju izvedbu od druge varijante. Navest ćemo vam i preporučenu radnju: “Zadrži izvornu” (ako varijanta A ima bolju izvedbu) ili “Primijeni varijantu” (ako varijanta B ima bolju izvedbu). 

Pokazat ćemo vam i koliko je AdMob siguran u vodeću varijantu pružanjem procijenjenog postotka vjerojatnosti (na primjer, “vjerojatnost je 99% (procijenjeno) da će varijanta A imati bolju izvedbu od varijante B”). 

AdMob određuje vodeću varijantu i procijenjenu vjerojatnost upotrebom sljedećih kriterija:

• Koliko dosljedno vodeća varijanta ima bolju izvedbu od druge. 
• Razina razlike između obje varijante. 
• Količina dostupnih podataka. Preporučujemo da odaberete oglasnu jedinicu s velikim prometom kako biste povećali količinu podataka dostupnih tijekom testiranja. Napominjemo da test mora primiti najmanje 10.000 zahtjeva za oglase kako bi AdMob odredio rezultate. 

Veća dosljednost i veća razlika u izvedbi, kao i velika količina podataka, pomaže AdMobu da poveća procijenjeni postotak vjerojatnosti. 

Ako bilo koji od tih kriterija nije zadovoljen, AdMob neće moći odrediti vodeću varijantu. U tom slučaju na A/B testnoj stranici nećete vidjeti pouzdane rezultate. No i dalje ćete moći pregledati mjerne podatke iz testa za svaku varijantu. 

Kada je dodjela korisnika postavljena na manje od 50%, podaci za varijantu B skalirani su izračun. To znači da su podaci zadovoljavajuća usporedba jer AdMob izračunava podatke za varijantu B kao da je primio istu podjelu korisnika.

Na primjer, ako je dodjela korisnika za varijantu B postavljena na 10%, procijenjena zarada skalirat će se za 9. To vam omogućuje za provedete zadovoljavajuću usporedbu s varijantom A (koja ima dodjelu korisnika od 90%). Dakle, ako u varijanti B zarađujete 10 USD, skalirani izračun zarade varijante B iznosi 90 USD. 

Poduzimanje radnje

Preporučujemo da prije poduzimanja radnje pustite da se test izvršava barem dva tjedna. Možete se obvezati na varijantu u bilo kojem trenutku tijekom 90 dana. Obvezivanje na varijantu znači da ste izabrali jednu od varijanti kao konfiguraciju medijacijske grupe za 100% svojih korisnika. Kada se odlučite za varijantu, uzmite u obzir razliku u procijenjenoj zaradi i postotku procijenjene vjerojatnosti. 

Možete zadržati varijantu A ili primijeniti varijantu B: 

• Da biste odabrali varijantu A, kliknite Zadrži. To znači da se zadržava vaša izvorna konfiguracija medijacijske grupe.
• Da biste odabrali varijantu B, kliknite Primijeni. To znači da primjenjujemo postavke varijante na vaš račun.

Ako se ne obvežete na varijantu do kraja 90 dana, testna zaustavljanja i varijanta A upotrebljavaju se za 100% vaših korisnika, čak i ako se ne radi o vodećoj varijanti testa. 

Nakon završetka eksperimenta imate 30 dana da izaberete varijantu prije nego što test istekne, a varijanta B se izbriše. 

Napomena: više informacija o A/B testovima dostupno je u izvješću o medijaciji.