Izvođenje A/B testova na unosu u trgovini

Da bismo razvojnim programerima pružili više kontrole i statističku robusnost, nedavno smo uveli promjene u eksperimente s unosom u trgovini na Play konzoli. Dodali smo tri nove mogućnosti:

• konfiguracija parametara eksperimenta
• kalkulator za procjenu potrebnih uzoraka i vremena do završetka
• intervali pouzdanosti koji sada omogućuju kontinuirani nadzor.

Ova je stranica ažurirana u skladu s tim izmjenama.

Značajke opisane na ovoj stranici još nisu dostupne svim razvojnim programerima.

Da biste lakše optimizirali svoj unos u trgovini na Google Playu i pronašli najučinkovitije grafičke materijale i lokalizirani tekst za svoju aplikaciju, možete izvesti neke eksperimente. Eksperimente možete izvoditi za stranicu glavnog unosa i stranice prilagođenih unosa u trgovini.

U slučaju objavljenih aplikacija možete usporediti različite varijante s trenutačnom verzijom na temelju podataka o instaliranjima i tako saznati koja je najuspješnija. Prije nego što postavite test, pregledajte najbolje primjere iz prakse za izvođenje učinkovitih eksperimenata.

Napomena: globalni eksperimenti preimenovani su u eksperimente sa zadanim grafičkim materijalima. Funkcije su im ostale iste kao prije preimenovanja.

Vrste eksperimenata

Za svaku aplikaciju istovremeno možete pokrenuti jedan eksperiment sa zadanim grafičkim materijalima ili najviše pet lokaliziranih eksperimenata.

Eksperiment sa zadanim grafičkim materijalima

U eksperimentu sa zadanim grafičkim materijalima možete eksperimentirati grafičkim materijalima na zadanom jeziku unosa aplikacije u trgovini. Pritom možete uključiti varijante ikone, istaknutih grafika, snimki zaslona i promotivnih videozapisa za aplikaciju.

• Ako je unos vaše aplikacije u trgovini dostupan na samo jednom jeziku, eksperiment sa zadanim grafičkim materijalima prikazivat će se svim korisnicima.
• Ako ste dodali lokalizirane grafičke materijale na određenom jeziku, korisnici koji gledaju vašu aplikaciju na tom jeziku isključeni su iz eksperimenata sa zadanim grafičkim materijalima za vašu aplikaciju. Na primjer, ako je zadani jezik aplikacije engleski, a imate lokaliziranu istaknutu grafiku na francuskom, korisnici koji gledaju aplikaciju na francuskom neće biti uključeni u eksperiment (čak ni ako testirate ikonu).

Lokalizirani eksperiment (za tekst i grafičke materijale)

U lokaliziranom eksperimentu možete eksperimentirati s ikonom, istaknutom grafikom, snimkama zaslona, promotivnim videozapisom i/ili opisima aplikacije na najviše pet jezika. Eksperimentalne varijante prikazivat će se samo onim korisnicima koji gledaju unos vaše aplikacije u trgovini na jezicima koje ste odabrali.

Ako je unos vaše aplikacije u trgovini dostupan samo na jednom jeziku, lokalizirani eksperimenti prikazivat će se samo onim korisnicima koji gledaju vašu aplikaciju na zadanom jeziku.

1. korak: izradite eksperiment

Da biste izradili eksperiment na Play konzoli:

1. Otvorite Play konzolu, a zatim stranicu Eksperimenti s unosom u trgovini (Rast > Prisutnost u trgovini > Eksperimenti s unosom u trgovini).
2. Kliknite Izradite eksperiment.
3. Unesite pojedinosti o eksperimentu:
   • Naziv eksperimenta: unesite naziv eksperimenta (najviše 50 znakova).
   • Unos u trgovini: odaberite unos u trgovini na kojem želite provesti taj eksperiment.
   • Vrsta eksperimenta: odaberite Eksperiment sa zadanim grafičkim materijalima ili Lokalizirani eksperiment.
4. Kliknite Dalje.
5. Prijeđite na upute u odjeljku 2. korak: postavite eksperiment.

2. korak: postavite eksperiment

Nakon izrade eksperimenta možete odabrati unos u trgovini, varijante i atribute koje želite testirati.

Da biste postavili eksperiment:

1. Slijedite upute na zaslonu da biste odabrali unos u trgovini i dodali ciljeve eksperimenta, kao što su ciljani mjerni podatak, publika eksperimenta, varijante i druge postavke.
   • Više informacija i savjeta možete pronaći u tablici u nastavku.
2. Da biste započeli s eksperimentom, pri vrhu stranice kliknite Pokreni eksperiment.
3. Ako postavljanje eksperimenta želite dovršiti kasnije, kliknite Spremi.

Pogledajte opise polja, primjere i savjete

Prilikom postavljanja eksperimenta morate navesti podatke o unosu u trgovini u nastavku.

Polje	Opis	Primjeri i savjeti
Naziv eksperimenta	Naziv eksperimenta vidljiv je samo na Play konzoli radi identifikacije eksperimenta i korisnici ga ne mogu vidjeti.	"Eksperiment sa svijetlom ikonom" "Istaknuta grafika logotipa" "Kratak opis s novim sloganom"
Unos u trgovini	Unos u trgovini (glavni ili prilagođeni) koji želite testirati.	Nakon što pokrenete eksperiment, naziv vašeg prilagođenog unosa u trgovini prikazuje se uz naziv koji je imao na početku eksperimenta. Ako ažurirate naziv prilagođenog unosa u trgovini nakon pokretanja eksperimenta, naziv se neće promijeniti u eksperimentu. Da biste izbjegli zabunu prilikom izvođenja eksperimenata, dobro je izbrisati prilagođene unose u trgovini koji se ne koriste i zatim izraditi nove kad budu potrebni.

Prilikom postavljanja eksperimenta morate navesti podatke o ciljevima eksperimenta u nastavku. Te postavke utjecat će na točnost eksperimenta i broj korisnika koji su instalirali aplikaciju potreban da postignete rezultat.

Polje	Opis	Primjeri i savjeti
Ciljani mjerni podatak	Mjerni podatak koji će se koristiti kako bi se utvrdio rezultat eksperimenta.	Imate dvije opcije: Zadržani korisnici koji su prvi put instalirali aplikaciju (preporučeno): broj korisnika koji su prvi put instalirali aplikaciju i zadržali je barem jedan dan. Korisnici koji su prvi put instalirali aplikaciju: broj korisnika koji su prvi put instalirali aplikaciju, bez obzira na to jesu li je zadržali.
Varijante	Broj eksperimentalnih varijanti za testiranje u usporedbi s trenutačnim unosom u trgovini. Ako testirate jednu varijantu, trebat će vam manje vremena da dovršite eksperiment.	Da biste dodali novu verziju eksperimentu, s padajućeg izbornika Varijante odaberite još jednu opciju. Uz trenutačnu verziju možete dodati tri varijante po eksperimentu.
Publika eksperimenta	Postotak posjetitelja unosa u trgovini koji će vidjeti eksperimentalnu varijantu umjesto vašeg trenutačnog unosa. Ti će se posjetitelji ravnomjerno podijeliti među eksperimentalnim varijantama.	Ako kao publiku unesete 30%, preostalih 70% posjetitelja stranice unosa u trgovini vidjet će trenutačnu verziju vaše stranice. Ako imate publiku od 30% i dvije varijante eksperimenta, svaka će se varijanta prikazivati udjelu od 15% korisnika. Tijekom eksperimenta svaki će korisnik vidjeti samo jednu varijantu ili trenutačnu verziju vaše stranice.
Minimalni uočljivi učinak	Minimalna razlika između varijanti i kontrolne grupe potrebna za utvrđivanje koja postiže bolje rezultate. Ako je razlika manja od toga, smatrat će se da je rezultat vašeg eksperimenta izjednačen.
Razina pouzdanosti	Koliko će često interval pouzdanosti koji pruža eksperiment sadržavati istinitu izvedbu unosa u trgovini.	Povećanjem razine pouzdanosti smanjit će se vjerojatnost lažno pozitivnog rezultata. Napomena: odabir razine pouzdanosti za eksperiment od 90% znači da jedan od deset eksperimenata može dati lažno pozitivan rezultat.
Atributi	Odaberite vrstu stavke koju želite usporediti s trenutačnim unosom.	Eksperimenti su najučinkovitiji ako testirate samo po jedan atribut. Kratki i puni opis možete testirati samo u lokaliziranom eksperimentu. Ako testirate grafičke elemente, morate poštovati zahtjeve u vezi s veličinom i vrstom datoteke.

Ako prilikom unosa podataka o ciljevima eksperimenta kliknete Uređivanje procjena, možete urediti procijenjene dnevne vrijednosti navedene u nastavku. Te će vam vrijednosti pomoći da izračunate koliko će trajati vaš eksperiment. Mogu se razlikovati od opažene izvedbe.

Polje	Opis	Primjeri i savjeti
Dnevni broj posjeta novih korisnika	Procijenjeni broj posjetitelja unosa u trgovini koji prethodno nisu instalirali vašu aplikaciju
Stopa konverzija	Procijenjeni postotak posjetitelja koji će izvršiti konverziju u vaš ciljani mjerni podatak.	Ako su vaš ciljani mjerni podatak, na primjer, korisnici koji su prvi put instalirali aplikaciju, stopa konverzija bit će procijenjeni postotak posjetitelja koji će se konvertirati u korisnike koji su prvi put instalirali aplikaciju.
Dnevni zadržani korisnici koji su prvi put instalirali aplikaciju	Procijenjeni broj korisnika koji će instalirati vašu aplikaciju prvi put i zadržati je više od jednog dana.	Više informacija potražite u odjeljku Pregled opisa statistike, mjernih podataka i primjera.
Dnevni korisnici koji su prvi put instalirali aplikaciju	Procijenjeni broj korisnika koji će posjetiti vaš unos u trgovini i instalirati prvi put.	Više informacija potražite u odjeljku Pregled opisa statistike, mjernih podataka i primjera.

3. korak: pregled i primjena rezultata

Da biste pregledali i primijenili rezultate:

1. Otvorite Play konzolu, a zatim stranicu Eksperimenti s unosom u trgovini (Rast > Prisutnost u trgovini > Eksperimenti s unosom u trgovini).
2. Odaberite strelicu desno u retku tablice eksperimenta koji želite pregledati. Pročitajte odjeljak Tablice eksperimenata s unosom u trgovini u nastavku da biste saznali više o tome kako se pojedinosti prikazuju.
3. U odjeljku Rezultati pogledajte sažetak rezultata svojeg eksperimenta. Rezultati se temelje na vašem ciljanom mjernom podatku.
   
   Rezultati će vam pokazati koja opcija ima najbolju izvedbu ili bolju izvedbu od vašeg trenutačnog unosa u trgovini. Vidjet ćete i objašnjenje tog rezultata na temelju njegovog intervala pouzdanosti i minimalnog uočljivog učinka te preporučene radnje (ako je primjenjivo). Ako nije prikupljeno dovoljno podataka za vraćanje rezultata, možete primiti rezultat Potrebno je više podataka.
    
4. Vaša sljedeća radnja ovisi o rezultatima eksperimenta:
   • Ako je varijanta imala dobru izvedbu, možda će vam se prikazati preporuka da primijenite tu varijantu.
   • Ako je rezultat "Neka se eksperiment nastavi izvoditi da bi prikupio više podataka", vratite se kasnije.
   • Ako je više varijanti imalo bolju izvedbu od vašeg unosa u trgovini ili ako je rezultat bio izjednačen, pregledajte rezultate da biste odlučili koju varijantu želite primijeniti.
   • Ako je vaš trenutačni unos u trgovini imao najbolju izvedbu, kliknite Zadrži trenutačni unos.

Tablice eksperimenta s unosom u trgovini

Nakon što postavite eksperimente, na stranici Eksperimenti s unosom u trgovini vidjet ćete sljedeće pojedinosti. Pojedinosti o eksperimentu organizirane su u četiri tablice, kao što je navedeno u nastavku. Da biste vidjeli više pojedinosti, odaberite strelicu desno u retku tablice eksperimenta koji želite pregledati.

Skice

• Naziv eksperimenta: naziv vašeg eksperimenta
• Unos u trgovini: unos u trgovini na kojem se izvodi eksperiment
• Vrsta eksperimenta: zadani grafički materijali ili lokalizirani
• Pojedinosti: broj varijanti koje se poslužuju postotku ciljanih korisnika.

U tijeku

• Naziv eksperimenta: naziv vašeg eksperimenta
• Unos u trgovini: unos u trgovini na kojem se izvodi eksperiment
• Vrsta eksperimenta: zadani grafički materijali ili lokalizirani
• Datum početka: kad je eksperiment započeo
• Pojedinosti: broj varijanti koje se poslužuju i postotak korisnika.

Završeno

• Naziv eksperimenta: naziv vašeg eksperimenta
• Unos u trgovini: unos u trgovini na kojem se izvodi eksperiment
• Vrsta eksperimenta: zadani grafički materijali ili lokalizirani
• Datum početka: kad je eksperiment započeo
• Pojedinosti: broj varijanti koje se poslužuju i postotak korisnika
• Ishod: rezultat vašeg eksperimenta.

Prethodni eksperimenti

• Naziv eksperimenta: naziv vašeg eksperimenta
• Unos u trgovini: unos u trgovini na kojem se izvodi eksperiment
• Vrsta eksperimenta: zadani grafički materijali ili lokalizirani
• Datum početka: kad je eksperiment započeo
• Datum završetka: kad je eksperiment završio
• Status: primijenjeno ili nije primijenjeno.

Pregled opisa statistike, mjernih podataka i primjera

Nakon što odaberete eksperiment, možete pregledati mjerne podatke o korisnicima i instaliranjima koji sumiraju uspješnost svake varijante.

Mjerni podaci o korisnicima

Mjerni podatak	Definicija
Korisnici koji su prvi put instalirali aplikaciju	Jedinstveni korisnici koji su tijekom eksperimenta prvi put instalirali vašu aplikaciju. Podaci se skaliraju radi kompenzacije za udio publike.
Zadržani korisnici (1 dan)	Jedinstveni korisnici koji su tijekom eksperimenta prvi put instalirali vašu aplikaciju i zadržali je barem jedan dan nakon instalacije. Podaci se skaliraju radi kompenzacije za udio publike.
Zadržane predbilježbe – dostupne samo za odabrane Play partnere	Broj korisnika koji su se predbilježili i ostali predbilježeni najmanje jedan dan.

Rezultati

Mjerne podatke koji prikazuju rezultate vašeg eksperimenta možete pregledati na dva načina:

• Trenutačni: broj jedinstvenih korisnika
• Skalirani: broj jedinstvenih korisnika podijeljen s udjelom publike

Ako želite pregledati apsolutne podatke o korisnicima koji su instalirali aplikaciju, pregledajte trenutačne podatke. Ako želite pregledati podatke koji su skalirani radi kompenzacije za različite udjele publike (npr. ako je 90% vaše publike vidjelo jednu verziju, a 10% drugu), pregledajte skalirane podatke.

Stavka	Definicija i primjeri
Uspješnost	Procijenjena promjena uspješnosti instaliranja u usporedbi s trenutačnom verzijom. Uspješnost će se prikazivati samo kada eksperiment prikupi dovoljno podataka. Općenito, kad eksperiment ima više vremena za rad i prikupljanje podataka, raspon uspješnosti varijante postaje uži i precizniji. Primjer: ako je jedna od varijanti imala raspon uspješnosti od +5% do +15%, promjena se nalazi negdje između tih vrijednosti, a najvjerojatnija promjena u uspješnosti predstavlja srednju vrijednost u tom rasponu, oko +10%.
Instaliranja (skalirano)	Broj instaliranja tijekom eksperimenta podijeljen s udjelom publike. Navodi se za eksperimente pokrenute prije 24. siječnja 2019. Na primjer, kada biste izvodili eksperiment s dvije varijante koji ima udjele publike od 90%/10% i kada bi broj instaliranja za pojedinu varijantu bio A = 900 i B = 200, skalirana instaliranja prikazivala bi se kao A = 1000 (900/0,9) i B = 2000 (200/0,1).
Instaliranja (trenutačno)	Broj instaliranja koja su još uvijek instalirana danas. Navodi se za eksperimente pokrenute prije 24. siječnja 2019.

Mjerni podaci o instaliranjima (obustavljeno)

Sljedeći mjerni podaci upotrebljavali su se za eksperimente pokrenute prije 24. siječnja 2019. Eksperimenti pokrenuti prije tog datuma i dalje uključuju taj statistički podatak, ali za nove eksperimente navode se samo korisnički mjerni podaci Korisnici koji su prvi put instalirali aplikaciju i Zadržani korisnici (1 dan).

Mjerni podatak	Definicija i primjeri
Instaliranja na aktivnim uređajima	Broj aktivnih uređaja na kojima je svaka varijanta aplikacije trenutačno instalirana, razmjerno povećan radi kompenzacije za različite razine publike.
Instaliranja po korisniku	Broj jedinstvenih korisnika koji su instalirali svaku varijantu aplikacije određenog dana, razmjerno povećan radi kompenzacije za različite razine publike.
Deinstaliranja po korisniku	Broj deinstaliranja svake varijante aplikacije određenog dana, razmjerno povećan radi kompenzacije za različite razine publike.

Eksperimenti koji koriste obustavljene mjerne podatke

Od rujna 2019. eksperimenti koji koriste prethodno navedene obustavljene mjerne podatke automatski će se prekinuti. Uzmite to u obzir prilikom planiranja, pa za eksperimente s unosom u trgovini odaberite najnovije mjerne podatke. 

Rezultate prekinutih eksperimenata možete vidjeti u odjeljku Prekinuti eksperimenti na stranici Eksperimenti s unosom u trgovini.

Registriranje za obavijesti o eksperimentima

Da biste primali obavijesti i e-poruke po dovršetku eksperimenata, postavite preferencije na stranici Obavijesti na Play konzoli.

Više informacija o obavijestima e-poštom možete pronaći na stranici Upravljanje podacima o računu razvojnog programera.