Izvođenje A/B testova na unosu u trgovini

Da biste lakše optimizirali svoj unos u trgovini na Google Playu i pronašli najučinkovitije grafičke materijale i lokalizirani tekst za svoju aplikaciju, možete izvesti neke eksperimente. Eksperimente možete izvoditi za stranicu glavnog unosa i stranice prilagođenih unosa u trgovini.

U slučaju objavljenih aplikacija možete usporediti različite varijante s trenutačnom verzijom na temelju podataka o instaliranjima i tako saznati koja je najuspješnija. Prije nego što postavite test, pregledajte najbolje primjere iz prakse za izvođenje učinkovitih eksperimenata.

Napomena: globalni eksperimenti preimenovani su u eksperimente sa zadanim grafičkim materijalima. Funkcije su im ostale iste kao prije preimenovanja.

Vrste eksperimenata

Za svaku aplikaciju istovremeno možete pokrenuti jedan eksperiment sa zadanim grafičkim materijalima ili najviše pet lokaliziranih eksperimenata.

Eksperiment sa zadanim grafičkim materijalima 

U eksperimentu sa zadanim grafičkim materijalima možete eksperimentirati grafičkim materijalima na zadanom jeziku unosa aplikacije u trgovini. Pritom možete uključiti varijante ikone, istaknutih grafika, snimki zaslona i promotivnih videozapisa za aplikaciju.

  • Ako je unos vaše aplikacije u trgovini dostupan na samo jednom jeziku, eksperiment sa zadanim grafičkim materijalima prikazivat će se svim korisnicima.
  • Ako ste dodali lokalizirane grafičke materijale na određenom jeziku, korisnici koji gledaju vašu aplikaciju na tom jeziku isključeni su iz eksperimenata sa zadanim grafičkim materijalima za vašu aplikaciju. Na primjer, ako je zadani jezik aplikacije engleski, a imate lokaliziranu istaknutu grafiku na francuskom, korisnici koji gledaju aplikaciju na francuskom neće biti uključeni u eksperiment (čak ni ako testirate ikonu).
Lokalizirani (za tekst i grafičke materijale)

U lokaliziranom eksperimentu možete eksperimentirati s ikonom, istaknutom grafikom, snimkama zaslona, promotivnim videozapisom i/ili opisima aplikacije na najviše pet jezika. Eksperimentalne varijante prikazivat će se samo onim korisnicima koji gledaju unos vaše aplikacije u trgovini na jezicima koje ste odabrali.

Ako je unos vaše aplikacije u trgovini dostupan samo na jednom jeziku, lokalizirani eksperimenti prikazivat će se samo onim korisnicima koji gledaju vašu aplikaciju na zadanom jeziku.

1. korak: napravite eksperiment

Eksperiment možete napraviti pomoću Play konzole. Kada budete spremni pregledati i primijeniti rezultate, to možete učiniti na web-lokaciji Play konzola ili u aplikaciji Play konzola.

Eksperiment sa zadanim grafičkim materijalima
  1. Prijavite se na Play konzolu.
  2. Odaberite aplikaciju.
  3. Na lijevom izborniku kliknite Prisutnost u trgovini > Eksperimenti s unosom u trgovini.
  4. Kliknite Novi eksperiment.
  5. Pod stavkom "Zadani grafički materijali" kliknite Izradi.
  6. Prijeđite na upute u odjeljku "2. korak: postavite eksperiment".
Lokalizirano
  1. Prijavite se na Play konzolu.
  2. Odaberite aplikaciju.
  3. Na lijevom izborniku kliknite Prisutnost u trgovini > Eksperimenti s unosom u trgovini.
  4. Kliknite Novi eksperiment.
  5. U odjeljku "Lokalizirani" odaberite jezik.
  6. Kliknite Izradi.
  7. Prijeđite na upute u odjeljku "2. korak: postavite eksperiment".

Nakon što izradite i pokrenete lokalizirani eksperiment na jednom jeziku, možete dodati još četiri jezika. Da biste dodali više eksperimenata:

  1. Vratite se na stranicu Eksperimenti s unosom u trgovini.
  2. Odaberite Novi eksperiment.
    • Ako ne možete odabrati Novi eksperiment, provjerite da nemate spremljen eksperiment u skicama. Da biste dodali novi jezik, prvo morate objaviti skicu.

2. korak: postavite eksperiment

Nakon izrade eksperimenta možete odabrati unos u trgovini, varijante i atribute koje želite testirati.

Da biste postavili eksperiment:

  1. Slijedite upute na zaslonu da biste odabrali unos u trgovini i dodali informacije o ciljanju, atribute i varijante.
    • Više informacija i savjeta možete pronaći u tablici u nastavku.
  2. Da biste započeli eksperiment, pri vrhu stranice kliknite Pokreni eksperiment. Ako postavljanje eksperimenta želite dovršiti kasnije, kliknite Spremi.
Pogledajte polja, opise te primjere i savjete
Polje Opis Primjeri i savjeti
Naziv
  • Naziv eksperimenta vidljiv je samo na Play konzoli radi identifikacije eksperimenta i korisnici ga ne mogu vidjeti.
  • "Eksperiment sa svijetlom ikonom"
  • "Istaknuta grafika logotipa"
  • "Kratak opis s novim sloganom"
Naziv unosa u trgovini
  • Unos u trgovini (glavni ili prilagođeni) koji želite testirati.
  • Nakon što pokrenete eksperiment, naziv vašeg prilagođenog unosa u trgovini prikazuje se uz naziv koji je imao na početku eksperimenta. Ako ažurirate naziv prilagođenog unosa u trgovini nakon pokretanja eksperimenta, naziv se neće promijeniti u eksperimentu.
  • Da biste izbjegli zabunu prilikom izvođenja eksperimenata, dobro je izbrisati prilagođene unose u trgovini koji se ne koriste i zatim izraditi nove kad budu potrebni.
Publika
  • Postotak korisnika koji vide neku varijantu eksperimenta.
  • Postotak publike podijelit će se na varijante eksperimenta u jednakim dijelovima.
  • Ako kao publiku unesete 30%, preostalih 70% posjetitelja stranice unosa u trgovini vidjet će trenutačnu verziju vaše stranice.
  • Ako imate publiku od 30% i dvije varijante eksperimenta, svaka će se varijanta prikazivati udjelu od 15% korisnika.
  • Tijekom eksperimenta svaki će korisnik vidjeti samo jednu varijantu ili trenutačnu verziju vaše stranice.
Atributi
  • Odaberite vrstu stavke koju želite usporediti s trenutačnim unosom.
  • Eksperimenti su najučinkovitiji ako testirate samo po jedan atribut.
  • Kratak i puni opis možete testirati samo u lokaliziranom eksperimentu.
  • Ako testirate grafičke materijale, morate poštovati zahtjeve u vezi s veličinom i vrstom datoteke.
Varijante
  • Da biste dodali novu verziju eksperimentu, kliknite Dodaj drugu varijantu.
  • Uz trenutačnu verziju možete dodati tri varijante po eksperimentu.

3. korak: pregledajte i primijenite rezultate

Nakon što postavite eksperimente, na stranici Eksperimenti s unosom u trgovini vidjet ćete sljedeće pojedinosti. Da biste vidjeli više pojedinosti, odaberite eksperiment.

Eksperimenti uživo

  • Eksperiment: naziv vašeg eksperimenta
  • Status: broj varijanti koje se poslužuju postotku korisnika
  • Datum početka: kad je eksperiment započeo
  • Rezultati: rezultati eksperimenta ili status podataka

Dovršeni eksperimenti

  • Eksperiment: naziv vašeg eksperimenta
  • Vrsta: eksperiment sa zadanim grafičkim materijalima ili lokalizirani eksperiment
  • Datum početka: kad je eksperiment započeo
  • Datum završetka: kad je eksperiment završio
  • Rezultati: primijenjeni ili nisu primijenjeni
Putem web-lokacije Play konzola
  1. Prijavite se na Play konzolu.
  2. Odaberite aplikaciju.
  3. Na lijevom izborniku kliknite Prisutnost u trgovini > Eksperimenti s unosom u trgovini.
  4. Odaberite eksperiment koji želite pregledati.
  5. Pored stavke "Mjerni podaci" odaberite mjerni podatak.
  6. Pregledajte rezultate.
    • Da biste primijenili varijantu koja se pokazala uspješnijom od trenutačne verzije, odaberite Primjeni pobjednika. Promjene unosa u trgovini možete pregledati prije objavljivanja.
    • Da biste zadržali trenutačnu verziju, odaberite Zadrži. Time će se unos u trgovini ažurirati na trenutačnu verziju, a eksperiment će se završiti.
    • Ako eksperiment pruži izjednačene rezultate, odaberite Zaustavi eksperiment.
    • Napomena: ovisno o mjernom podatku koji odaberete rezultati uspješnosti pojedinačnih varijanti mogu se razlikovati. Da biste postigli najbolje rezultate, pregledajte sve dostupne mjerne podatke prije nego što se odlučite za neku varijantu.
Putem aplikacije Play konzola
  1. Otvorite aplikaciju Play konzola Aplikacija Konzola.
  2. Odaberite aplikaciju.
  3. Pomičite se prema dolje do kartice "Eksperimenti". Da biste vidjeli više informacija o eksperimentima s aplikacijama, dodirnite Prikaz pojedinosti. Za detaljni prikaz dodirnite određenu varijantu da biste vidjeli publiku te trenutačna i skalirana instaliranja za taj eksperiment.
    • Da biste primijenili varijantu koja se pokazala uspješnijom od trenutačne verzije, odaberite Primjeni pobjednika. Promjene unosa u trgovini možete pregledati prije objavljivanja.
    • Da biste zadržali trenutačnu verziju, odaberite Zadržite trenutačno. Time će se unos u trgovini ažurirati na trenutačnu verziju, a eksperiment će se završiti.
    • Napomena: rezultati uspješnosti temelje se na korisnicima koji su prvi put instalirali aplikaciju. Da biste pregledali rezultate na temelju dodatnih mjernih podataka, posjetite web-lokaciju Play konzola.
Pregled opisa statistike, mjernih podataka i primjera

Nakon što odaberete eksperiment, možete pregledati mjerne podatke o korisnicima i instaliranjima koji sumiraju uspješnost svake varijante.

Mjerni podaci o korisnicima

Mjerni podatak Definicija
Korisnici koji su prvi put instalirali aplikaciju
  • Pojedinačni korisnici koji su tijekom eksperimenta prvi put instalirali vašu aplikaciju. Podaci se skaliraju radi kompenzacije za udio publike.
Zadržani korisnici (1 dan) – dostupno samo na web-lokaciji Trgovina Play
  • Pojedinačni korisnici koji su tijekom eksperimenta prvi put instalirali vašu aplikaciju i zadržali je barem jedan dan nakon instalacije. Podaci se skaliraju radi kompenzacije za udio publike.

Rezultati

Mjerne podatke koji prikazuju rezultate vašeg eksperimenta možete pregledati na dva načina:

  • Trenutačni: broj pojedinačnih korisnika
  • Skalirani: broj pojedinačnih korisnika podijeljen s udjelom publike

Ako želite pregledati apsolutne podatke o korisnicima koji su instalirali aplikaciju, pregledajte trenutačne podatke. Ako želite pregledati podatke koji su skalirani radi kompenzacije za različite udjele publike (na primjer ako je 90% vaše publike vidjelo jednu verziju, a 10% drugu), pregledajte skalirane podatke.

Mjerni podatak Definicije i primjeri
Korisnici koji su instalirali aplikaciju
  • Broj pojedinačnih korisnika koji su prvi put instalirali vašu aplikaciju.
Zadržani korisnici
  • Broj pojedinačnih korisnika koji su prvi put instalirali vašu aplikaciju i zadržali je barem jedan dan nakon instalacije.
Uspješnost
  • Procijenjena promjena uspješnosti instaliranja u usporedbi s trenutačnom verzijom. Vjerojatnost da će varijanta tijekom vremena biti uspješna u prikazanom rasponu iznosi 90%. Budući da se raspon temelji na uspješnosti varijante, te će brojke varirati tijekom eksperimenta.
  • Prosjek između najviše i najniže procijenjene promjene u uspješnosti instaliranja varijante predstavlja procijenjenu promjenu u uspješnosti varijante.
  • Primjer: ako je jedna od varijanti imala raspon uspješnosti od +5% do +15%, najvjerojatnija promjena u uspješnosti bit će srednja vrijednost, odnosno oko +10%.
  • Uspješnost će se prikazivati samo kada eksperiment prikupi dovoljno podataka. Općenito, s obzirom da eksperiment ima više vremena za rad i prikupljanje podataka, raspon uspješnosti varijante postat će uži i precizniji.
Instaliranja (skalirano) – obustavljeno
  • Broj instaliranja tijekom eksperimenta podijeljen s udjelom publike.
  • Navodi se za eksperimente pokrenute prije 24. siječnja 2019.
  • Na primjer, kada biste izvodili eksperiment s dvije varijante koji ima udjele publike od 90%/10% i kada bi broj instaliranja za pojedinu varijantu bio A = 900 i B = 200, skalirana instaliranja prikazivala bi se kao A = 1000 (900/0,9) i B = 2000 (200/0,1).
Instaliranja (trenutačno) – obustavljeno
  • Broj instaliranja koja su još uvijek instalirana danas.
  • Navodi se za eksperimente pokrenute prije 24. siječnja 2019.

Mjerni podaci o instaliranjima (obustavljeno)

Sljedeći mjerni podaci upotrebljavali su se za eksperimente pokrenute prije 24. siječnja 2019. Eksperimenti pokrenuti prije tog datuma i dalje uključuju taj statistički podatak, ali za nove eksperimente navode se samo korisnički mjerni podaci "Korisnici koji su prvi put instalirali aplikaciju" i "Zadržani korisnici (1 dan)".

Mjerni podatak Definicije i primjeri
Instaliranja na aktivnim uređajima
  • Broj aktivnih uređaja na kojima je svaka varijanta aplikacije trenutačno instalirana, razmjerno povećan radi kompenzacije za različite razine publike.
Instaliranja po korisniku
  • Broj pojedinačnih korisnika koji su instalirali svaku varijantu aplikacije određenog dana, razmjerno povećan radi kompenzacije za različite razine publike.
Deinstaliranja po korisniku
  • Broj deinstaliranja svake varijante aplikacije određenog dana, razmjerno povećan radi kompenzacije za različite razine publike.

Registriranje za obavijesti o eksperimentima

Da biste primali obavijesti na Play konzoli i e-poštom kad vaši eksperimenti završe, možete postaviti preferencije za obavijesti.

Više informacija o obavijestima e-poštom možete pronaći na stranici Upravljanje podacima o računu razvojnog programera.

Je li to bilo korisno?
Kako to možemo poboljšati?