Kør A/B-tests på din profilside i Play Butik

Vi har for nylig foretaget nogle ændringer af eksperimenter med profilsider i Play Console for at give udviklerne mere kontrol og mere robuste statistikker. Vi har tilføjet tre nye funktioner:

• Konfiguration af eksperimentparametre
• En beregner til estimering af, hvilke eksempler der kræves, og hvor lang tid der går, før eksperimenter er fuldført
• Konfidensintervaller, der nu giver mulighed for fortsat overvågning 

Denne side er blevet opdateret, så den afspejler disse ændringer. 

De funktioner, der beskrives på denne side, er endnu ikke tilgængelige for alle udviklere.

Du kan hjælpe med at optimere din profilside i Play Butik ved at udføre eksperimenter for at finde den mest effektive grafik og lokaliserede tekst til din app. Du kan køre eksperimenter for dine primære og tilpassede profilsider i Play Butik.

I forbindelse med udgivne apps kan du teste varianter i forhold til den aktuelle version for at se, hvilken variant der er mest effektiv baseret på installationsdata. Gennemgå de optimale løsninger til at køre effektive eksperimenter, inden du konfigurerer et.

Bemærk! Globale tests er blevet omdøbt til standardeksperimenter med grafik. Funktionaliteten er uændret.

Eksperimenttyper

Du kan køre ét standardeksperiment med grafik eller op til fem lokaliserede eksperimenter for hver app på samme tid.

Standardgrafik 

Et standardeksperiment med grafik giver dig mulighed for at teste grafik på standardsproget på profilsiden for din app i Play Butik. Du kan medtage varianter af appens ikon, fremhævede grafik, skærmbilleder og promoveringsvideo.

• Hvis din apps butiksfortegnelse kun er tilgængelig på ét sprog: Aller brugerne ser standardeksperimenter med grafik.
• Hvis du har tilføjet lokaliserede grafiske aktiver på et bestemt sprog: Brugere, der ser din app på det pågældende sprog, er udelukket fra din apps standardeksperimenter med grafik. Hvis standardsproget for din app f.eks. er engelsk, og den har en lokaliseret, fremhævet grafik på fransk, udelukkes brugere, der ser din app på fransk, fra testen, selvom det er ikonet, du tester.

Lokaliseret (til tekst og grafik)

Du kan bruge en lokaliseret test til at eksperimentere med appens ikon, fremhævede grafik, skærmbilleder, promoveringsvideo og/eller appens beskrivelse på op til fem sprog. Testvarianterne vises kun for brugere, der ser butiksfortegnelsen for din app på de sprog, du vælger.

Hvis appens butiksfortegnelse kun er tilgængelig på ét sprog, vises lokaliserede tests kun for brugere, der ser din app på standardsproget.

Trin 1: Opret et eksperiment

Sådan opretter du et eksperiment i Play Console:

1. Åbn Play Console, og gå til siden Eksperimenter med profilsider (Skab vækst > Butiksvisning > Eksperimenter med profilsider).
2. Klik på Opret eksperiment.
3. Angiv oplysninger om eksperimentet:
   • Eksperimentnavn: Angiv navnet på dit eksperiment (højst 50 tegn).
   • Profilside i Play Butik: Vælg den profilside i Play Butik, du vil køre dette eksperiment på.
   • Eksperimenttype: Vælg Standardeksperiment med grafik eller Lokaliseret eksperiment.
4. Klik på Næste.
5. Gå videre til vejledningen i "Trin 2: Konfigurer dit eksperiment".

Trin 2: Konfigurer dit eksperiment

Når du har oprettet et eksperiment, kan du vælge den butiksfortegnelse, den variant og de attributter, du vil teste.

Sådan konfigurerer du dit eksperiment:

1. Følg vejledningen på skærmen for at vælge en profilside i Play Butik og tilføje dine eksperimentmål, f.eks. din målmetric, eksperimentets målgruppe, varianter og andre indstillinger.
   • Se nedenstående tabel for at få flere oplysninger og tips.
2. Du kan begynde din test ved at klikke på Kør test øverst på siden.
3. Du kan afslutte konfigurationen af dit eksperiment på et senere tidspunkt ved at klikke på Gem.

Se feltbeskrivelser, eksempler og tips

Du skal angive nedenstående oplysninger om profilsiden i Play Butik, når du konfigurerer dit eksperiment.

Felt	Beskrivelse	Eksempler og tips
Eksperimentnavn	Eksperimentets navn vises kun i Play Console, så eksperimentet kan identificeres. Det er ikke synligt for brugerne.	"Eksperiment med klart ikon" "Fremhævet grafik for logo" "Kort beskrivelse med nyt slogan"
Profilside i Play Butik	Den profilside (primær eller tilpasset) i Play Butik, du vil teste.	Når du har startet et eksperiment, vises din tilpassede butiksfortegnelse med det navn, den havde, da eksperimentet blev startet. Hvis du opdaterer navnet på din tilpassede butiksfortegnelse, efter eksperimentet er startet, ændres navnet ikke i eksperimentet. Hvis du vil undgå forvirring, når du kører eksperimenter, er det en god idé at slette ubrugte tilpassede profilsider i Play Butik og derefter oprette nye efter behov.

Du skal angive oplysninger om eksperimentmål nedenfor, når du konfigurerer dit eksperiment. Disse indstillinger har indvirkning på nøjagtigheden af dit eksperiment og på, hvor mange installationer der behøves for at opnå et resultat

Felt	Beskrivelse	Eksempler og tips
Målmetric	Den metric, der bruges til at fastslå resultatet af eksperimentet.	Du har to muligheder:  Brugere, som har installeret appen for første gang og beholdt den (anbefales): Antallet af brugere, som har installeret appen for første gang og stadig har den installeret efter mindst 1 dag Brugere, som har installeret appen for første gang: Antallet af brugere, som har installeret appen for første gang, uanset om de har beholdt den eller ej
Varianter	Antallet af eksperimentelle varianter, der skal testes i forhold til den aktuelle profilside i Play Butik. Hvis du tester en enkelt variant, tager det kortere tid at fuldføre dit eksperiment.	Hvis du vil føje en ny version til dit eksperiment, skal du vælge en anden mulighed i rullemenuen for Varianter. Du kan tilføje op til tre varianter pr. eksperiment ud over den aktuelle version.
Eksperimentets målgruppe	Procentdelen af besøgende på profilsiden i Play Butik, der får vist en eksperimentel variant i stedet for din aktuelle profilside.  Disse besøgende bliver fordelt ligeligt mellem dine eksperimentelle varianter.	Hvis du angiver 30 % som din målgruppe, får de resterende 70 % af de besøgende på din profilside i Play Butik vist den aktuelle version af siden. Hvis du f.eks. har en målgruppe på 30 % og to varianter i din test, vises hver variant til 15 % af brugerne. Under et eksperiment får hver bruger kun vist en enkelt variant eller den aktuelle version af din side.
Mindste registrerbare effekt	Hvor stor forskel, der som minimum skal være mellem varianter og kontrolgruppen, for at fastslå, hvilken der er mest effektiv. Hvis forskellen er mindre end dette, betragtes dit eksperiment som uafgjort.
Konfidensniveau	Hvor ofte det konfidensinterval, der leveres af eksperimentet, indeholder den sande effektivitet af profilsiden i Play Butik.	Hvis konfidensniveauet øges, sænkes sandsynligheden for en falsk positiv. Bemærk! Hvis du vælger et konfidensniveau på 90 % for dit eksperiment, betyder det, at ét ud af ti eksperimenter kan rapportere en falsk positiv
Attributter	Vælg den type element, du vil afprøve i forhold til din aktuelle fortegnelse.	Test én attribut ad gangen for at køre tests på den mest effektive måde. Du kan kun teste din korte beskrivelse og fulde beskrivelse under et lokaliseret eksperiment. Hvis du tester grafiske aktiver, skal du sørge for, at du opfylder kravene til størrelse og filtype.

Hvis du klikker på Rediger estimater, når du angiver oplysninger om dine eksperimentmål, kan du redigere de estimerede daglige værdier, som er angivet nedenfor. Disse værdier hjælper med at beregne, hvor lang tid det vil tage at fuldføre dit eksperiment. De kan afvige fra den observerede effektivitet.

Felt	Beskrivelse	Eksempler og tips
Daglige besøg fra nye brugere	Det estimerede antal besøgende på profilsiden i Play Butik, som ikke tidligere har installeret din app
Konverteringsrate	Estimeret procentdel af besøgende, der konverteres til din målmetric.	Hvis din målmetric f.eks. er brugere, som har installeret appen for første gang, er konverteringsraten den estimerede procentdel af besøgende, der konverteres til brugere, som har installeret appen for første gang.
Daglige brugere, som har installeret appen for første gang og beholdt den	Det estimerede antal brugere, som installerer din app for første gang og stadig har den efter én dag.	Gå til Se beskrivelser af statistik, metrics og eksempler nedenfor for at få flere oplysninger.
Daglige brugere, som har installeret appen for første gang	Det estimerede antal brugere, der besøger din profilside i Play Butik og installerer for første gang.	Gå til Se beskrivelser af statistik, metrics og eksempler nedenfor for at få flere oplysninger.

Trin 3: Se og anvend resultaterne

Sådan ser og anvender du dine resultater:

1. Åbn Play Console, og gå til siden Eksperimenter med profilsider (Skab vækst > Butiksvisning > Eksperimenter med profilsider).
2. Vælg højrepilen i tabelrækken for det eksperiment, du vil se. Gå til Tabeller over eksperimenter med profilsider nedenfor for at se, hvordan oplysninger vises.
3. Se en oversigt over resultaterne af dit eksperiment i sektionen "Resultater". Resultaterne er baseret på din målmetric.
   
   Resultaterne viser dig, hvilken af valgmulighederne der er mest effektiv eller mere effektiv end din aktuelle profilside i Play Butik. Du får også en forklaring af dette resultat baseret på konfidensintervallet, den mindste registrerbare effekt og en anbefalet handling (hvis der er en). Du får muligvis resultatet "Der skal indsamles flere data", hvis der ikke er indsamlet nok data til at hente et resultat.
    
4. Din næste handling afhænger af eksperimentresultaterne:
   • Hvis en variant klarede sig godt, får du muligvis vist en anbefaling om at anvende den pågældende variant.
   • Hvis du får resultatet "Lad dit eksperiment køre videre for at indsamle flere data", skal du vende tilbage senere.
   • Hvis et antal varianter klarede sig bedre end din profilside i Play Butik, eller hvis du fik resultatet "Uafgjort", skal du gennemgå resultaterne for at beslutte, hvilken variant du vil anvende. 
   • Hvis din aktuelle profilside i Play Butik klarede sig bedst, bør du klikke på Behold aktuel profilside.

Tabeller over eksperimenter med profilsider

Når du har konfigureret dine eksperimenter, kan du se følgende oplysninger på siden Eksperimenter med profilsider. Eksperimentoplysninger er organiseret i fire tabeller, som vist nedenfor. Du kan få flere oplysninger ved at vælge højrepilen i tabelrækken for det eksperiment, du vil se.

Kladder

• Eksperimentnavn: Navnet på dit eksperiment
• Profilside i Play Butik: Den profilside i Play Butik, som eksperimentet kører på
• Eksperimenttype: Standardgrafik eller lokaliseret
• Oplysninger: Antallet af varianter, der vises for procentdelen af brugere i målgruppen

Under behandling

• Eksperimentnavn: Navnet på dit eksperiment
• Profilside i Play Butik: Den profilside i Play Butik, som eksperimentet kører på
• Eksperimenttype: Standardgrafik eller lokaliseret
• Startdato: Den dato, eksperimentet blev startet
• Oplysninger: Antallet af varianter, der vises, og procentdelen af brugere

Fuldført

• Eksperimentnavn: Navnet på dit eksperiment
• Profilside i Play Butik: Den profilside i Play Butik, som eksperimentet kører på
• Eksperimenttype: Standardgrafik eller lokaliseret
• Startdato: Den dato, eksperimentet blev startet
• Oplysninger: Antallet af varianter, der vises, og procentdelen af brugere
• Resultat: Resultatet af dit eksperiment

Tidligere eksperimenter

• Eksperimentnavn: Navnet på dit eksperiment
• Profilside i Play Butik: Den profilside i Play Butik, som eksperimentet kører på
• Eksperimenttype: Standardgrafik eller lokaliseret
• Startdato: Den dato, eksperimentet blev startet
• Slutdato: Den dato, eksperimentet blev afsluttet
• Status: Anvendt eller ikke anvendt

Se beskrivelser af statistik, metrics og eksempler

Når du har valgt et eksperiment, kan du se metrics for brugere og installationer, som opsummerer, hvordan hver variant klarede sig.

Metrics for brugere

Metric	Definition
Brugere, som har installeret appen for første gang	Unikke brugere, som har installeret appen for første gang under testen. Dataene skaleres for at tage højde for målgruppeandel.
Brugere, der har installeret og beholdt appen (1 dag)	Unikke brugere, som har installeret appen for første gang og stadig har den mindst 1 dag efter installationen under eksperimentet. Dataene skaleres for at tage højde for målgruppeandel.
Fastholdte brugere, der har forhåndsregistreret sig – kun tilgængelig for udvalgte Play-partnere	Antallet af brugere, der forhåndsregistrerede sig og forblev forhåndsregistreret i mindst én dag.

Resultater

Du kan se metrics, der viser testens resultater på to forskellige måder:

• Aktuelle: Antallet af unikke brugere
• Skalerede: Antallet af unikke brugere opdelt efter målgruppe

Hvis du vil gennemgå specifikke data om personer, der har installeret appen, skal du bruge de aktuelle data. Hvis du vil se data, der er skaleret for at tage højde for forskellige målgruppeandele (f.eks. hvis 90 % af din målgruppe har set én version, og 10 % af din målgruppe har set en anden), skal du bruge skalerede data.

Element	Definition og eksempler
Effektivitet	Anslået ændring i installationseffektivitet i forhold til den aktuelle version. Effektiviteten vises kun, når eksperimentet har en tilstrækkelig mængde data. Generelt kan man sige, at jo længere tid et eksperiment har til at køre og indsamle data, desto mindre og mere nøjagtig bliver effektivitetsintervallet for en variant. Eksempel: Hvis en af dine varianter har en effektivitet på mellem mindst 5 % og mindst 15 %, ligger ændringen et sted mellem disse værdier, hvor den mest sandsynlige ændring i effektiviteten er middelværdien af de to, dvs. ca. 10 %.
Installationer (skaleret)	Antallet af installationer under eksperimentet divideret med målgruppeandel. Gælder eksperimenter, som blev påbegyndt før den 24. januar 2019. Hvis du f.eks. udførte et eksperiment med to varianter, der brugte målgruppeandelen 90 %/10 %, og antallet af installationer for hver variant var A=900 og B=200, vises de skalerede installationer som A=1000 (900/0,9) og B=2000 (200/0,1).
Installationer (aktuelt)	Antallet af installationer, som stadig er installeret i dag. Gælder eksperimenter, som blev påbegyndt før den 24. januar 2019.

Metrics for installationer (udfaset)

Følgende metrics blev brugt til eksperimenter, som blev påbegyndt før den 24. januar 2019. Eksperimenter, der blev påbegyndt før denne dato, omfatter stadig disse statistikker. Nyere eksperimenter anvender kun metrics for brugere, som har installeret appen for første gang, og brugere, som har installeret og beholdt appen i mindst 1 dag.

Metric	Definition og eksempler
Installationer på aktive enheder	Antallet af aktive enheder, som hver variant af appen i øjeblikket er installeret på – skaleret op for at kompensere for de forskellige målgruppeniveauer.
Installationer efter bruger	Antallet af unikke brugere, som installerede hver variant af appen på en given dag, skaleret op for at kompensere for forskellige målgruppeniveauer.
Afinstallationer efter bruger	Antallet af afinstallationer af hver variant af appen på en given dag, skaleret op for at kompensere for forskellige målgruppeniveauer.

Eksperimenter, hvor der bruges udfasede metrics

Fra og med september 2019 standses eksperimenter automatisk, hvis de omfatter udfasede metrics ovenfor. Tag højde for dette i din planlægning, og brug i stedet de nyeste metrics i Eksperimenter med profilsider. 

Du kan se resultater af standsede eksperimenter under Standsede eksperimenter på siden Eksperimenter med profilsider.

Tilvælg notifikationer om eksperimenter

Du kan få notifikationer og mails, når dine eksperimenter er færdige, ved at angive dine præferencer på siden Notifikationer i Play Console. 

Du kan få flere oplysninger om mailnotifikationer ved at gå til Administrer oplysninger på din udviklerkonto.