Analyser A/B-tester og velg variant

Dataene på siden for medieringsgrupper oppdateres regelmessig. Basert på disse dataene kan du – når som helst i løpet av testperioden på 90 dager – velge varianten du vil bruke. Med dette valget angir du hvilken av de to variantene av konfigurasjonen for medieringsgruppen du vil bruke på alle brukerne.

Slik går du til A/B-tester og overvåker dem:

1. Logg på AdMob-kontoen din på https://admob.google.com.
2. Klikk på Mediering i sidefeltet.
3. Velg medieringsgruppen med A/B-testen du vil se.

For å gjøre det enklere å analysere resultatene fra A/B-testen rapporterer AdMob om den skalerte månedlige inntekten fra variant A og variant B. Den skalerte månedlige inntekten er et anslag over hvor mye du kommer til å tjene i løpet av 28 dager hvis du tar i bruk denne varianten for alle brukerne dine. Du får se en rettferdig sammenligning og et mer helhetlig bilde av resultatene du har oppnådd med de ulike variantene.

Merk: AdMob begynner å beregne de skalerte månedlige inntektene dine fire dager etter at du startet A/B-testen og har oppnådd 10 000 visninger.

Ved å se på forskjellen mellom de skalerte månedlige inntektene øverst på A/B-testsiden, får du et inntrykk av hvor stor forskjell det er mellom variantene.

I diagrammene ser du resultatene du oppnår med de ulike annonsekildene i hver variant. Diagrammene gjør det enklere å sammenligne resultatene for hver annonsekilde i variantene og å tolke eksperimentresultatene. Sammendragsdiagrammet gir oversikt over de viktigste beregningene. Du kan holde markøren over en beregning i sammendragsdiagrammet for å se resultatene for denne beregningen fra hver variant.

I diagrammet ser du eCPM, matchprosent, skalert inntekt og skalert antall visninger for både variant A og variant B. Verdiene oppdateres fortløpende gjennom testen. For hver beregning kan du klikke på en fane for å se et mer detaljert linjediagram. Hvert linjediagram viser daglige data med prosentvis endring for variant B sammenlignet med variant A. 

Forstå resultatene

Merk: Testresultatene er anslag. De anslåtte verdiene kan brukes som referanse for optimalisering av medieringen og er ingen garanti for de endelige resultatene.

Når testen starter, sammenligner AdMob den skalerte månedlige inntekten fra begge variantene for å finne ut hvilken variant du kan oppnå de beste resultatene med. AdMob viser den ledende varianten på A/B-testsiden så snart det er fastslått at den ene varianten tydelig og konsekvent oppnår bedre resultater enn den andre. Du ser også handlingen vi anbefaler: «Behold den opprinnelige varianten» (hvis variant A gir bedre resultater) eller «Bruk variant B» (hvis variant B gir bedre resultater).

Du kan gjøre endringer i en aktiv test ved å klikke på Endre testen. I så fall avsluttes den nåværende testen, og det opprettes et utkast til en ny test med de samme innstillingene, som du kan endre. For å sikre at du får presise resultater og anbefalinger, kan du ikke endre tester mens de kjører. Husk at det tar tid å oppnå resultater. Pass på at du ikke avslutter testen for tidlig basert på de innledende resultatene.

AdMob fastslår hvilken variant som leder, og anslår sannsynligheten i prosent basert på disse kriteriene:

• Hvor konsekvent du oppnår bedre resultater med den ledende varianten.
• Hvor stor forskjellen er mellom de to variantene.
• Hvor mye data som er tilgjengelig: Vi anbefaler at du velger en annonseenhet med et betydelig trafikkvolum, slik at store datamengder er tilgjengelige under testen. Vær oppmerksom på at testen må bygge på minst 10 000 annonseforespørsler for at AdMob skal kunne fastslå et sikkert resultat.

Jo mer konsekvent og signifikant resultatforskjellen er, samt jo større datavolum som er tilgjengelig, desto sikrere er grunnlaget for AdMobs avgjørelse.

Hvis ikke alle disse kriteriene er oppfylt, kan ikke AdMob fastslå hvilken variant som oppnår de beste resultatene. Da ser du heller ikke noe sikkert resultat på A/B-testsiden, men du kan fortsatt se testberegningene for hver variant.

Om å angi brukerfordelingen for variant B

Hvis du har angitt under 50 % i brukerfordelingen, blir dataene om variant B skalert i beregningen. Dette innebærer at dataene legger grunnlag for en rettferdig sammenligning, ettersom AdMob beregner dataene om variant B som om den hadde en like stor andel av brukerfordelingen.

Hvis variant B har en brukerfordeling på 10 %, ganges den beregnede inntekten med faktoren 9. Dette sikrer en balansert sammenligning med variant A (som har 90 % som brukerfordeling). Hvis den faktiske inntekten fra variant B er NOK 100, er den skalerte inntekten fra denne varianten NOK 900.

Velg variant

Vi anbefaler at du lar testen kjøre i minst to uker før du bestemmer deg for A eller B. I løpet av perioden på 90 dager kan du når som helst velge å gå for variant A eller variant B. Med dette valget angir du hvilken av de to variantene av konfigurasjonen for medieringsgruppen du vil bruke på alle brukerne. Vurder forskjellen i beregnet inntekt og den anslåtte prosentvise sannsynligheten når du velger varianten du vil bruke fremover.

Tips: Klikk på Se rapporten for å se en mer detaljert analyse av testresultatene.

Du kan velge å beholde variant A eller bruke variant B:

• For å velge variant A klikker du på Behold variant A. Da beholder du den opprinnelige konfigurasjonen av medieringsgruppen.
• For å velge variant B klikker du på Bruk variant B. I så fall bruker vi innstillingene for denne varianten i kontoen din.

Hvis du ikke har valgt en variant etter 90 dager, blir testen stoppet, og variant A brukes på 100 % av brukerne – selv når dette ikke er testens ledende variant.

Når eksperimentet avsluttes, har du 30 dager på deg til å velge en variant. Etter dette avsluttes testen, og variant B blir slettet.

Merk: Du finner mer informasjon om A/B-tester i medieringsrapporten.