A/B-tests voor je winkelvermelding uitvoeren

We willen ontwikkelaars meer controle en betere statistieken bieden. Daarom hebben we recent een paar wijzigingen aangebracht in experimenten voor winkelvermeldingen in de Play Console. We hebben 3 nieuwe mogelijkheden toegevoegd:

• configuratie van experimentparameters,
• een rekenmachine om de benodigde monsters en de tijd tot voltooiing te schatten, en
• zekerheidsintervallen die nu continue controle mogelijk maken.

Deze pagina is geüpdatet met deze wijzigingen.

De functies die op deze pagina worden beschreven, zijn nog niet beschikbaar voor alle ontwikkelaars.

Je kunt experimenten uitvoeren om te achterhalen welke afbeeldingen en gelokaliseerde tekst het effectiefst zijn voor je app en op basis hiervan je winkelvermelding op Google Play optimaliseren. Je kunt experimenten uitvoeren voor je primaire en aangepaste winkelvermeldingspagina's.

Voor gepubliceerde apps kun je varianten testen ten opzichte van je huidige versie om te zien welke app op basis van de installatiegegevens het beste presteert. Bekijk praktische tips voor het uitvoeren van effectieve experimenten voordat je een test opzet.

Opmerking: Algemene experimenten heten nu experimenten voor standaard grafische items. Ze behouden dezelfde functionaliteit als voordat de naam werd gewijzigd.

Typen experimenten

Voor elke app kun je 1 experiment voor standaard grafische items of maximaal 5 gelokaliseerde experimenten tegelijk uitvoeren.

Standaard grafische items

Met een experiment voor standaard grafische items kun je experimenteren met grafische items in de standaardtaal voor de winkelvermelding van je app. Je kunt varianten van het icoon, de functieafbeelding, screenshots en promotievideo van je app opnemen.

• Als de winkelvermelding van je app slechts in 1 taal beschikbaar is: Experimenten voor standaard grafische items worden aan alle gebruikers getoond.
• Als je gelokaliseerde grafische items in een specifieke taal hebt toegevoegd: Gebruikers die je app in die taal bekijken, worden uitgesloten van de experimenten voor standaard grafische items van je app. Als de standaardtaal van je app bijvoorbeeld Engels is en deze een gelokaliseerde functieafbeelding in het Frans bevat, worden gebruikers die je app in het Frans weergeven, uitgesloten van het experiment (ook als je je icoon test).

Gelokaliseerd (voor tekst en afbeeldingen)

Met een gelokaliseerd experiment kun je in maximaal 5 talen experimenteren met het icoon, de functieafbeelding, screenshots, promotievideo en/of beschrijvingen van je app. Experimentvarianten worden alleen weergegeven voor gebruikers die de winkelvermelding van je app weergeven in de door jou gekozen talen.

Als de winkelvermelding van je app maar in 1 taal beschikbaar is, worden gelokaliseerde experimenten alleen weergegeven voor gebruikers die je app bekijken in de standaardtaal van de app.

Stap 1: Maak een experiment

Zo maak je een experiment in de Play Console:

1. Open de Play Console en ga naar de pagina Experimenten voor winkelvermeldingen (Groei > Aanwezigheid in Google Play Store > Experimenten voor winkelvermeldingen).
2. Klik op Experiment maken.
3. Geef de experimentgegevens op:
   • Experimentnaam: Geef de naam van het experiment op (50 tekens of minder).
   • Winkelvermelding: Selecteer de winkelvermelding waarvoor je dit experiment wilt uitvoeren.
   • Experimenttype: Kies Standaardexperiment voor grafische items of Gelokaliseerd experiment.
4. Tik op Volgende.
5. Ga door naar de instructies bij Stap 2: Stel je experiment in.

Stap 2: Stel je experiment in

Nadat je een experiment hebt gemaakt, kun je de winkelvermelding, varianten en kenmerken selecteren die je wilt testen.

Zo stel je je experiment in:

1. Volg de instructies op het scherm om een winkelvermelding te selecteren en je experimentdoelen toe te voegen, zoals je doelstatistiek, de doelgroep van het experiment, varianten en andere instellingen.
   • Bekijk de onderstaande tabel voor meer informatie en tips.
2. Als je je experiment wilt starten, klik je bovenaan de pagina op Experiment uitvoeren.
3. Klik op Opslaan als je het instellen van je experiment later wilt afronden.

Bekijk beschrijvingen, voorbeelden en tips voor velden

Geef de onderstaande informatie over de winkelvermelding op als je het experiment instelt.

Veld	Beschrijving	Voorbeelden en tips
Experimentnaam	De naam van je experiment is alleen zichtbaar in de Play Console zodat je het experiment kunt herkennen. De naam is niet zichtbaar voor gebruikers.	Experiment met felgekleurd icoon Functieafbeelding met logo Korte beschrijving met nieuwe slogan
Winkelvermelding	De winkelvermelding (primair of aangepast) die je wilt testen.	Nadat je een experiment hebt gestart, wordt de naam van je aangepaste winkelvermelding weergegeven met de naam die de vermelding had aan het begin van je experiment. Als je de naam van je aangepaste winkelvermelding updatet nadat je experiment is gestart, wordt deze niet gewijzigd in je experiment. Het is verstandig ongebruikte aangepaste winkelvermeldingen te verwijderen en vervolgens nieuwe te maken wanneer dat nodig is. Zo voorkom je verwarring bij het uitvoeren van experimenten.

Geef de onderstaande informatie over de experimentdoelen op als je het experiment instelt. Deze instellingen zijn van invloed op de nauwkeurigheid van je experiment en op het aantal installerende gebruikers dat nodig is om een resultaat te behalen.

Veld	Beschrijving	Voorbeelden en tips
Doelstatistiek	De statistiek die wordt gebruikt om het resultaat van het experiment te bepalen.	Je hebt 2 opties: Behouden nieuwe installerende gebruikers (aanbevolen): Het aantal gebruikers dat de app voor het eerst heeft geïnstalleerd en minstens 1 dag geïnstalleerd heeft gehouden. Nieuwe installerende gebruikers: Het aantal gebruikers dat de app voor het eerst heeft geïnstalleerd, ongeacht of ze de app hebben gehouden.
Varianten	Het aantal experimentele varianten om te testen in vergelijking met de huidige winkelvermelding. Als je 1 variant test, is er minder tijd nodig om je experiment af te ronden.	Selecteer een andere optie in het dropdownmenu Varianten om een nieuwe versie aan je experiment toe te voegen. Je kunt naast je huidige versie maximaal 3 varianten per experiment toevoegen.
Doelgroep van experiment	Het percentage bezoekers van de winkelvermelding dat een experimentele variant in plaats van je huidige vermelding te zien krijgt. Deze bezoekers worden gelijk verdeeld over je experimentele varianten.	Als je voor de doelgroep een waarde van 30% opgeeft, wordt voor de overige 70% van de bezoekers van je pagina met de winkelvermelding de huidige versie van de pagina weergegeven. Als je voor de doelgroep een waarde van 30% opgeeft en je met 2 varianten experimenteert, wordt elke variant weergegeven voor 15% van de gebruikers. Tijdens een experiment krijgt elke gebruiker 1 variant of de huidige versie van je pagina te zien.
Minimaal waarneembaar effect	Het vereiste minimale verschil tussen de varianten en het controle-item om aan te geven welke beter presteert. Als het verschil kleiner is dan dit, wordt je experiment als gelijkspel beschouwd.
Betrouwbaarheidsniveau	Hoe vaak het opgegeven zekerheidsinterval van het experiment de werkelijke prestaties van de winkelvermelding bevat.	Als je het betrouwbaarheidsniveau verhoogt, wordt de kans op een fout-positief resultaat kleiner. Opmerking: Als je een betrouwbaarheidsniveau van 90% kiest voor je experiment, betekent dit dat 1 op de 10 experimenten een fout-positief resultaat kan opleveren.
Kenmerken	Selecteer het itemtype dat je wilt testen ten opzichte van je huidige vermelding.	Je kunt het beste 1 kenmerk tegelijk testen om experimenten zo effectief mogelijk te maken. Je kunt je korte en volledige beschrijving alleen testen tijdens een gelokaliseerd experiment. Als je grafische items test, moet je de vereisten voor de grootte en het bestandstype volgen.

Als je op Schattingen bewerken klikt als je informatie over je experimentdoelen opgeeft, kun je de geschatte dagelijkse waarden bewerken die hieronder worden vermeld. Aan de hand van deze waarden kan worden berekend hoelang je experiment gaat duren. Deze waarden kunnen afwijken van de waargenomen prestaties.

Veld	Beschrijving	Voorbeelden en tips
Dagelijkse bezoeken van nieuwe gebruikers	Het geschatte aantal bezoekers van je winkelvermelding dat je app niet eerder heeft geïnstalleerd
Conversiepercentage	Het geschatte percentage bezoekers dat wordt geconverteerd naar je doelstatistiek.	Als je doelstatistiek bijvoorbeeld nieuwe installerende gebruikers is, is het conversiepercentage het geschatte percentage bezoekers dat wordt geconverteerd naar nieuwe installerende gebruikers.
Dagelijkse behouden nieuwe installerende gebruikers	Het geschatte aantal gebruikers dat je app voor het eerst installeert en na 1 dag nog steeds heeft geïnstalleerd.	Ga naar Beschrijvingen van statistieken, statistische gegevens en voorbeelden bekijken voor meer informatie.
Dagelijkse nieuwe installerende gebruikers	Het geschatte aantal gebruikers dat je winkelvermelding bezoekt en je app voor het eerst installeert	Ga naar Beschrijvingen van statistieken, statistische gegevens en voorbeelden bekijken voor meer informatie.

Stap 3: Bekijk de resultaten en pas ze toe

Zo kun je de resultaten bekijken en toepassen:

1. Open de Play Console en ga naar de pagina Experimenten voor winkelvermeldingen (Groei > Aanwezigheid in Google Play Store > Experimenten voor winkelvermeldingen).
2. Selecteer de pijl-rechts in de tabelrij van het experiment dat je wilt bekijken. Bekijk Tabellen voor experimenten voor winkelvermeldingen hieronder voor meer informatie over hoe details worden weergegeven.
3. Bekijk in het gedeelte Resultaten een overzicht van de resultaten van je experiment. De resultaten zijn gebaseerd op je doelstatistiek.
   
   De resultaten laten zien welke optie het best presteert of beter presteert dan je huidige winkelvermelding. Je ziet ook een uitleg van dit resultaat op basis van het zekerheidsinterval en het minimaal waarneembare effect, en een aanbevolen actie (indien van toepassing). Je kunt het resultaat Meer gegevens nodig krijgen als er onvoldoende gegevens zijn verzameld om een resultaat te retourneren.
    
4. Je volgende actie is afhankelijk van de resultaten van je experiment:
   • Als een variant goed heeft gepresteerd, zie je misschien een aanbeveling om die variant toe te passen.
   • Kom later terug als het resultaat 'Laat je experiment doorlopen om meer gegevens te verzamelen' is.
   • Als een aantal varianten beter heeft gepresteerd dan je winkelvermelding of als je resultaat een gelijkspel was, bekijk je de resultaten om te bepalen welke variant je wilt toepassen.
   • Als je huidige winkelvermelding het best heeft gepresteerd, klik je op Huidige vermelding behouden.

Tabellen voor experimenten voor winkelvermeldingen

Nadat je experimenten hebt ingesteld, worden de volgende details weergegeven op de pagina Experimenten voor winkelvermeldingen. De gegevens van het experiment zijn ingedeeld in 4 tabellen, zoals hieronder vermeld. Als je meer informatie wilt, selecteer je de pijl-rechts in de tabelrij van het experiment dat je wilt bekijken.

Concepten

• Experimentnaam: De naam van je experiment.
• Winkelvermelding: De winkelvermelding waarvoor het experiment wordt uitgevoerd.
• Experimenttype: Standaard grafische items of gelokaliseerd.
• Details: Het aantal varianten dat wordt weergegeven aan het percentage doelgebruikers.

In behandeling

• Experimentnaam: De naam van je experiment.
• Winkelvermelding: De winkelvermelding waarvoor het experiment wordt uitgevoerd.
• Experimenttype: Standaard grafische items of gelokaliseerd.
• Startdatum: Wanneer het experiment is gestart.
• Details: Het aantal varianten dat wordt weergegeven en het percentage gebruikers.

Voltooid

• Experimentnaam: De naam van je experiment.
• Winkelvermelding: De winkelvermelding waarvoor het experiment wordt uitgevoerd.
• Experimenttype: Standaard grafische items of gelokaliseerd.
• Startdatum: Wanneer het experiment is gestart.
• Details: Het aantal varianten dat wordt weergegeven en het percentage gebruikers.
• Resultaat: Het resultaat van je experiment.

Eerdere experimenten

• Experimentnaam: De naam van je experiment.
• Winkelvermelding: De winkelvermelding waarvoor het experiment wordt uitgevoerd.
• Experimenttype: Standaard grafische items of gelokaliseerd.
• Startdatum: Wanneer het experiment is gestart.
• Einddatum: Wanneer je experiment is beëindigd.
• Status: Toegepast of niet toegepast.

Beschrijvingen van statistieken, statistische gegevens en voorbeelden bekijken

Nadat je een experiment hebt geselecteerd, kun je gebruikers- en installatiestatistieken bekijken die samenvatten hoe elke variant heeft gepresteerd.

Gebruikersstatistieken

Statistiek	Definitie
Nieuwe installerende gebruikers	Unieke gebruikers die je app tijdens het experiment voor het eerst hebben geïnstalleerd. De gegevens worden geschaald om rekening te houden met het doelgroepaandeel.
Behouden installerende gebruikers (1 dag)	Unieke gebruikers die je app tijdens het experiment voor het eerst hebben geïnstalleerd en deze gedurende minstens 1 dag na de installatie op hun apparaat hebben laten staan. De gegevens worden geschaald om rekening te houden met het doelgroepaandeel.
Behouden pre-registraties (alleen beschikbaar voor bepaalde Play-partners)	Het aantal gebruikers dat zich vooraf heeft geregistreerd en minstens 1 dag vooraf geregistreerd is gebleven.

Resultaten

Je kunt de statistieken met de resultaten van je experiment op 2 verschillende manieren bekijken:

• Huidig: Aantal unieke gebruikers.
• Geschaald: Aantal unieke gebruikers gedeeld door doelgroepaandeel.

Als je de absolute gegevens over installerende gebruikers wilt bekijken, gebruik je de huidige gegevens. Als je gegevens wilt bekijken die zijn geschaald om rekening te houden met verschillende doelgroepaandelen (bijvoorbeeld als 90% van je doelgroep één bepaalde versie heeft gezien en 10% van je doelgroep een andere), gebruik je geschaalde gegevens.

Item	Definitie en voorbeelden
Prestaties	Geschatte wijziging in installatieprestaties in vergelijking met de huidige versie. De prestaties worden alleen weergegeven wanneer er voldoende gegevens voor je experiment zijn verzameld. In het algemeen geldt dat naarmate een experiment langer wordt uitgevoerd en meer gegevens kan verzamelen, het prestatiebereik van een variant beperkter en nauwkeuriger wordt. Voorbeeld: Als een van je varianten een prestatiebereik van +5% tot +15% had, ligt de wijziging ergens tussen deze waarden, waarbij de meest waarschijnlijke wijziging in de prestaties het gemiddelde van de 2 is, dus ongeveer +10%.
Installaties (geschaald)	Aantal installaties gedurende het experiment gedeeld door het doelgroepaandeel. Inbegrepen voor experimenten die vóór 24 januari 2019 zijn gestart. Als je bijvoorbeeld een experiment uitvoert met 2 varianten met een doelgroepaandeel van 90% / 10% en het aantal installaties voor elke variant A = 900 en B = 200 is, wordt het aantal geschaalde installaties weergegeven als A = 1000 (900/0,9) en B = 2000 (200/0,1).
Installaties (huidig)	Aantal installaties dat vandaag nog steeds is geïnstalleerd. Inbegrepen voor experimenten die vóór 24 januari 2019 zijn gestart.

Installatiestatistiek (beëindigd)

De volgende statistieken werden gebruikt voor experimenten die vóór 24 januari 2019 zijn gestart. Experimenten die vóór deze datum zijn gestart, bevatten nog steeds deze statistieken, maar nieuwe experimenten maken alleen gebruik van de gebruikersstatistieken 'nieuwe installerende gebruikers' en 'behouden installerende gebruikers (1 dag)'.

Statistiek	Definitie en voorbeelden
Installaties op actieve apparaten	Het aantal actieve apparaten waarop elke variant van de app momenteel is geïnstalleerd, opgeschaald ter compensatie voor de verschillende grootten van de doelgroep.
Installaties door gebruikers	Het aantal unieke gebruikers dat elke variant van de app op een bepaalde dag heeft geïnstalleerd, opgeschaald ter compensatie voor de verschillende grootten van de doelgroep.
Verwijderingen door gebruikers	Het aantal verwijderde installaties voor elke variant van de app op een bepaalde dag, opgeschaald ter compensatie voor de verschillende grootten van de doelgroep.

Experimenten met beëindigde statistieken

Vanaf september 2019 worden experimenten met een van de verouderde statistieken die hierboven worden vermeld, automatisch beëindigd. Houd hier rekening mee en gebruik in plaats daarvan de nieuwste statistieken voor experimenten voor winkelvermeldingen.

Je kunt de resultaten van beëindigde experimenten bekijken onder Beëindigde experimenten op de pagina met experimenten voor de winkelvermelding.

Aanmelden voor experimentmeldingen

Als je meldingen en e-mail wilt krijgen als je experimenten zijn afgerond, stel je je voorkeuren in op de pagina Meldingen in de Play Console.

Bekijk Gegevens voor je ontwikkelaarsaccount beheren voor meer informatie over e-mailmeldingen.