Välitysryhmän sivulla näkyvä data päivitetään säännöllisesti. 90 testipäivän aikana voit missä tahansa vaiheessa tehdä päätöksen siihen mennessä kerätyn datan perusteella, keskeyttää testin ja valita jommankumman muunnelman. Tietyn muunnelman valitseminen tarkoittaa sitä, että päätät käyttää kyseisen muunnelman välitysryhmäasetuksia kaikkiin sovelluksesi käyttäjiin.
A/B-testin hallinta ja seuranta
- Kirjaudu AdMob-tilillesi osoitteessa https://apps.admob.com.
- Valitse sivupalkista Välitys.
- Valitse katsottavan A/B-testin sisältävä välitysryhmä.
AdMob auttaa sinua analysoimaan A/B-testin tuloksia raportoimalla muunnelmien A ja B skaalatut kuukausitulot. Skaalatut kuukausitulot on arvio siitä, paljonko ansaitset 28 päivässä, jos otat tämän muunnelman käyttöön kaikille käyttäjille. Arvioiden avulla voit verrata muunnelmia tasapuolisesti ja saada tarkemman kuvan niiden toimivuudesta.
Katso skaalattujen kuukausitulojen ero A/B-testisivun yläreunasta, niin ymmärrät muunnelmien välisen eron suuruuden.
Näet myös muunnelmien A ja B arvioidut tulot, todellisen tuhannen impression hinnan ja osuvuusarvon, jotka päivittyvät koko testin ajan. Tästä datasta näet myös, miten hyviä tuloksia kukin mainoslähde tuottaa kussakin muunnelmassa, joten voit helposti verrata mainoslähteen tuloksia muunnelmien välillä.
Tulosten tulkitseminen
Kun testi alkaa, AdMob vertaa molempien muunnelmien skaalattuja kuukausituloja selvittääkseen, kumpi muunnelma toimii parhaiten. Johtava muunnelma näkyy A/B-testisivulla, kun sen on todettu tuottaneen johdonmukaisesti ja merkittävästi parempia tuloksia kuin toisen muunnelman. Saat myös toimintasuosituksen: Säilytä alkuperäinen (jos Muunnelma A toimii paremmin) tai Käytä muunnelmaa (jos Muunnelma B toimii paremmin).
Näet myös, miten varma AdMob on johtavan muunnelman paremmuudesta. AdMob kertoo arvioidun prosentuaalisen todennäköisyyden (esimerkiksi "99 % (arvioitu) todennäköisyys, että Muunnelma A toimii paremmin kuin Muunnelma B").
AdMob päättää johtavan muunnelman ja arvioidun prosentuaalisen todennäköisyyden seuraavien kriteereiden perusteella:
- kuinka johdonmukaisesti johtava muunnelma toimii paremmin kuin toinen muunnelma
- muunnelmien välisen eron suuruus
- käytettävissä olevan datan määrä. Suosittelemme valitsemaan sellaisen mainosyksikön, jonka saaman liikenteen määrä on merkittävä, jotta testin aikana käytettävissä on mahdollisimman paljon dataa. Huomaa, että testin on saatava vähintään 10 000 mainospyyntöä, jotta AdMob voi antaa testille tuloksen.
Mitä johdonmukaisempaa toiminta on ja mitä enemmän eri muunnelmien välillä on eroa ja mitä enemmän dataa on käytettävissä, sitä suuremman arvioidun todennäköisyysprosentin AdMob voi antaa.
Jos jokin näistä ehdoista ei täyty, AdMob ei voi kertoa johtavaa muunnelmaa. Tässä tapauksessa et näe selkeitä tuloksia A/B-testin sivulta. Voit kuitenkin katsoa testin kunkin muunnelman mittareita.
Kun käyttäjien jakamisprosentti on alle 50, Muunnelman B data skaalataan laskennallisesti. Näin datan vertailu on reilu, koska AdMob laskee Muunnelman B datan siten, että se saa tasapuolisen määrän käyttäjiä.
Esimerkiksi jos käyttäjien jaossa Muunnelman B saama määrä on 10 %, arvioidut tulot skaalataan luvulla 9. Näin vertaaminen Muunnelmaan A (joka sai käyttäjistä 90 %) on tasapuolista. Jos siis Muunnelma B ansaitsee 10, Muunnelman B laskennallisesti skaalatut tulot ovat 90 euroa.
Mahdolliset toimenpiteet
Suosittelemme pitämään testin käynnissä vähintään kahden viikon ajan ennen minkään toimenpiteiden tekemistä. Voit kuitenkin valita jommankumman muunnelman milloin tahansa 90 päivän aikana. Tietyn muunnelman valitseminen tarkoittaa sitä, että päätät käyttää kyseisen muunnelman välitysryhmäasetuksia kaikkiin sovelluksesi käyttäjiin. Tutki arvioitujen tulojen välistä eroa ja arvioitua todennäköisyysprosenttia päätöstä tehdessäsi.
Voit päättää säilyttää Muunnelman A tai käyttää Muunnelmaa B:
- Jos haluat säilyttää Muunnelman A, klikkaa Säilytä. Tämä tarkoittaa sitä, että alkuperäiset välitysryhmäasetukset säilytetään.
- Jos haluat valita Muunnelman B, klikkaa Käytä. Tämä tarkoittaa sitä, että muunnelman asetukset otetaan käyttöön tililläsi.
Jos et valitse kumpaakaan muunnelmaa 90 testipäivän kuluessa, testi päättyy, ja Muunnelmaa A käytetään kaikkiin käyttäjiin, vaikka se ei olisi ollut testin mukaan paras vaihtoehto.
Testin päättymisen jälkeen sinulla on 30 päivää aikaa valita muunnelma, ennen kuin testi vanhentuu ja Muunnelma B poistetaan.