Na Play konzoli možete izvoditi eksperimente s cijenama da biste diverzificirali svoju strategiju određivanja cijena za tržišta u nastajanju ili testirali različite cijene na svojim osnovnim tržištima da biste ostvarili veći prihod.
Eksperimenti s cijenama omogućuju vam izvođenje A/B testova te upotrebu rezultata kako biste pouzdano i precizno prilagodili cijene aplikacije u skladu s kupovnom moći na različitim tržištima na globalnoj razini. Eksperimente s cijenama možete upotrijebiti i za testiranje različitih konkurentnih cijena u odnosu na kontrolnu cijenu na osnovnim tržištima kako biste ostvarili veći prihod. Postavljanje optimalnih cijena za proizvode ponuđene putem aplikacije u različitim državama/regijama osigurava da primjenjujete najbolju strategiju određivanja cijene za svoju aplikaciju kako biste nastavili povećavati prihod i istovremeno privlačili nove korisnike. Budući da se ta značajka temelji na cijeni i prodaji proizvoda ponuđenih putem aplikacije, morate biti razvojni programer trgovac da biste je koristili.
U odjeljcima u nastavku navedene su smjernice i važne informacije o pripremi i provedbi eksperimenata s cijenama te razumijevanju njihovih rezultata.
Proširite i pročitajte svaki odjeljak u nastavku prije nego što počnete postavljati eksperiment s cijenama na Play konzoli.
Opće informacije
- Eksperimenti se provode samo na razini aplikacije, ne možete ih provoditi u više aplikacija.
- Eksperiment može trajati najdulje šest mjeseci, nakon čega se cijene vraćaju na izvornu cijenu. Cijene će se također vratiti na izvornu cijenu 14 dana nakon što postanu statistički značajne.
- U jednom eksperimentu možete testirati najviše 1000 proizvoda ponuđenih putem aplikacije.
- Ne možete pokrenuti isti eksperiment s preklapajućim proizvodima ponuđenim putem aplikacije i preklapajućim državama do barem 30 dana nakon završetka originalnog eksperimenta.
- Ne možete pauzirati eksperimente. Možete ih samo pokrenuti ili u potpunosti zaustaviti. Jednom zaustavljen eksperiment ne možete ponovno pokrenuti.
Ograničenja po državama/regijama
- Istovremeno možete izvoditi samo jedan eksperiment u bilo kojoj državi/regiji. Na primjer, ako već provodite eksperiment u Norveškoj, u njoj ne možete pokrenuti drugi eksperiment na drugim proizvodima, osim ako zaustavite prvi eksperiment i izradite drugi.
- Testirana cijena mora biti u definiranim rasponima cijena za kupnje putem aplikacije. Ako je postotak cijene izvan definiranog raspona cijena za tu državu/regiju u sklopu eksperimenta, postotak cijene automatski će se zaustaviti na graničnoj vrijednosti.
- Možete imati najviše dvije varijante cijene i kontrolu za svaki eksperiment.
- Eksperimenti se implementiraju samo u odabranoj državi/regiji, a ne u povezanim područjima s posebnom (poreznom) stopom. Na primjer, ako provodite eksperiment u Francuskoj, to ne uključuje povezane francuske teritorije (Francusku Gvajanu, Francusku Polineziju, Gvadelupu, Martinique, Mayotte, Novu Kaledoniju, Réunion, Sveti Bartolomej, Sveti Martin, Sveti Petar i Mikelon te Wallis i Futunu).
Promjene proizvoda ponuđenih putem aplikacije
- Ne možete promijeniti cijenu proizvoda ponuđenog putem aplikacije koji je uključen u eksperimentu koji se provodi. Da biste promijenili cijenu, morate zaustaviti eksperiment. Napominjemo sljedeće:
- Jedine su iznimke kada izvodite dva eksperimenta i primjenjujete rezultate prvog eksperimenta. Alternativno, ako je vaš proizvod ponuđen putem aplikacije povezan s predloškom za cijene, cijene proizvoda ponuđenih putem aplikacije možete promijeniti samo za države koje nisu uključene u ekperiment.
- Ako tijekom aktivnog eksperimenta konfigurirate novi proizvod ponuđen putem aplikacije, bit će izostavljen iz eksperimenta.
Aktivni eksperimenti i primjena rezultata
- Eksperimentalne cijene možete primijeniti u bilo kojem trenutku, ali preporučujemo da pričekate da rezultati budu statistički značajni te da primijenite samo promjene cijena koje pokazuju bolje rezultate od vaše kontrolne grupe.
- Eksperimentu koji se trenutačno provodi ne možete dodati dodatne države/regije ili proizvode.
- Ako su jedan ili više vaših proizvoda povezani s predloškom za cijene, primjenom cijena ažurirat će se cijene u državi/regiji vašeg eksperimenta i prekinuti veza tih proizvoda s predloškom, odnosno predlošcima.
Eksperimenti u velikoj mjeri upotrebljavaju statističku terminologiju. Ako vam ti pojmovi nisu poznati, možda će vam biti korisno pogledati pojmovnik u nastavku.
| Pojam |
Definicija |
Napomene |
| Interval pouzdanosti |
Raspon vrijednosti koje izražavaju nesigurnost oko toga je li rezultat statistički značajan.
|
To je ključni signal kojim možete tumačiti ishod eksperimenta. Statistička značajnost određuje se kada se interval pouzdanosti ne presijeca s nulom (0).
Ovo se možda neće prikazati u prvih nekoliko dana zbog male količine podataka.
|
| Razina pouzdanosti |
Vjerojatnost za koju je opažena razlika između varijante i kontrole točna.
Primjer: razina pouzdanosti od 90% znači da je 10% vremena opažena razlika vjerojatno rezultat slučajnosti. Drugim riječima, postoji manje od 10% vjerojatnosti da bi se podaci koji se ispituju mogli dogoditi ako nema razlike između kontrole i varijante. |
- Za izračun intervala pouzdanosti primjenjujemo metodu ponovnog uzorkovanja, tj. jackknife (statistički alat koji omogućuje procjenu varijance preko ponovnog uzorkovanja), a zatim primjenjujemo sekvencijalno testiranje vjerojatnosti mješavine kako bismo kontrolirali povećanu lažno pozitivnu stopu od kontinuiranog nadzora.
- Zadana razina pouzdanosti iznosi 90%, no možete odabrati između 70% i 99%. Nakon što se odabere prilikom postavljanja eksperimenta, neće se mijenjati tijekom eksperimenta
- Nakon što pokrenete eksperiment, ne možete mijenjati razinu pouzdanosti.
- Najčešće razine pouzdanosti iznose 95%, 90% i 99%. Više razine pouzdanosti zahtijevaju više podataka; jednako tako, to znači da će rezultati eksperimenta vjerojatnije biti pouzdani.
- Razina od 50% znači vjerojatnost od 50:50 da je rezultat točan (slično bacanju novčića).
|
| Kontrola |
Izvorna varijabla za testiranje (koja sadržava izvornu cijenu kupnje putem aplikacije) u kraku eksperimenta. |
Kontrolnu cijenu vidi dio publike eksperimenta koji je definiran tijekom postavljanja i svi korisnici koji nisu uključeni u eksperiment. |
| Ishod eksperimenta |
Rezultat vašeg eksperimenta. |
Mogući ishodi eksperimenata navedeni su u sljedećem odjeljku. |
| Lažno pozitivno |
Kada je negativan događaj pogrešno kategoriziran kao pozitivan. |
Kad se otkrije da je razlika u potrošnji između kontrola i testa statistički značajna (pozitivna), no razlika u potrošnji između kontrola i testa zapravo nije statistički značajna (negativna), smatra se lažno pozitivnom.
Lažno pozitivna stopa omjer je broja lažno pozitivnih rezultata i ukupnog broja stvarno negativnih događaja.
|
| Proizvodi ponuđeni putem aplikacije |
Stavke koje se korisnicima naplaćuju jednokratno.
Proizvodi ponuđeni putem aplikacije mogu obuhvaćati stavke kao što su virtualni proizvodi (na primjer razine u igri ili napitci) i usluge s dodatnom naplatom unutar vaše aplikacije na Google Playu.
|
Možete odabrati jedan ili više različitih proizvoda ponuđenih putem aplikacije, a najviše 2000. Općenito, više podataka znači manje vremena za otkrivanje razlike između kontrole i varijanti, ako postoji razlika.
Eksperimentiranje s promjenom cijene brojnih proizvoda može smanjiti potencijal kanibalizacije.
|
| Minimalni uočljivi efekt (MDE) |
Unos koji odaberete prilikom postavljanja eksperimenta i koji pokazuje razinu poboljšanja koju želite da eksperiment otkrije. Zamislite to kao odluku o tome koliko želite da eksperiment bude osjetljiv, što utječe na procijenjeno vrijeme do statističke značajnosti. Nakon što odaberete MDE, vidjet ćete procjenu vremena potrebnog za utvrđivanje statistički značajnog rezultata na temelju povijesnih podataka koje odaberete.
Na primjer, manji MDE znači osjetljiviji eksperiment koji vodi do duljeg procijenjenog vremena do izračuna statističke značajnosti.
|
|
| Efekt noviteta |
Fenomen u kojem korisnici mogu preferirati ili isprobati novu značajku (kao što je novi proizvod ili konkurentna cijena), čak i ako značajka nije bolja ili privlačnija od izvorne. U tom slučaju porast obično prolazi s vremenom. |
Eksperimenti koji brzo završe mogu podlijegati novim učincima. Kako biste razmotrili taj učinak, preporučujemo primjenu procijenjenih tjedana do izračuna statističke značajnosti. |
| Statistička značajnost |
U A/B testu to podrazumijeva određivanje je li razlika između kontrole i varijante stvarna ili slučajna. |
Ako interval pouzdanosti ne uključuje vrijednost "nula" u učinku, smatramo da se radi o statistički značajnom rezultatu. U našem slučaju to je razlika između kontrolne potrošnje i varijantne potrošnje.
Neke vizualne primjere intervala pouzdanosti možete vidjeti u odjeljku Česta pitanja.
|
| Varijanta |
Varijacija izvorne varijable testiranja za krak eksperimenta. |
Varijanta je ili povećanje cijene ili sniženje cijene za izvornu cijenu kupnje putem aplikacije. |
Postavljanje eksperimenta
Prilikom postavljanja eksperimenta preporučujemo da u aplikaciju uključite sve izmjenjive proizvode ponuđene putem aplikacije, poput valute u igri, da biste ograničili kanibalizaciju.
Prije nego što započnete: mala količina podataka
Ako radite s malom količinom podataka, vjerojatno nećete imati dovoljno podataka za donošenje zaključka iz eksperimenta. Na primjer, ako provodite eksperiment s novim proizvodom, procijenjeno trajanje eksperimenta i upozorenja možda neće biti točni. U tom će se slučaju na Play konzoli možda prikazati upozorenje da je u odabranom vremenskom razdoblju predviđena vrlo mala količina podataka. Ako dobijete poruku o maloj količini podataka, možda nećete imati dovoljno podataka za izvođenje eksperimenta ili ćete možda moći precizno podesiti parametre eksperimenta. Evo nekih predloženih radnji za rješavanje problema male količine podataka.
Nasuprot tome, ako provodite dulji eksperiment, važno je uzeti u obzir da na rezultate mogu utjecati gospodarski čimbenici kao što su globalne fluktuacije valute tijekom vremena.
Da biste dodali pojedinosti o eksperimentu, učinite sljedeće:
- Otvorite Play konzolu, a zatim stranicu Eksperimenti s cijenama (Unovčavajte putem Playa > Eksperimenti s cijenama).
- Kliknite Izradite eksperiment.
- U odjeljku Dodaj pojedinosti unesite naziv eksperimenta i kratak opis eksperimenta (neobavezno).
- Napomena: korisnici ne vide naziv vašeg eksperimenta i kratak opis.
- Odaberite države/regije s kojima želite eksperimentirati.
- Važno: eksperimenti s cijenom implementiraju se samo u odabranoj državi/regiji, a ne na povezanim lokacijama. Na primjer, ako odaberete Francusku, vaši će se eksperimenti s cijenom implementirati samo u Francuskoj, a ne i na njezinim povezanim teritorijima kao što je Francuska Gvajana.
- U padajućem izborniku Proizvodi odaberite proizvode ponuđene putem aplikacije s kojima želite eksperimentirati. U padajućem izborniku navedeni su dostupni nazivi proizvoda ponuđenih putem aplikacije, njihovi ID-jevi i cijena.
- Važno: ako odaberete proizvod ponuđen putem aplikacije koji je povezan s predloškom za cijene, predložak za cijene zaključat će se tijekom trajanja eksperimenta s cijenom.
- Odaberite datum početka. Eksperiment će započeti u 00:00 PT na datum koji odaberete. Možete zakazati pokretanje eksperimenta u budućnosti.
- Kliknite Dalje da biste nastavili s postavljanjem eksperimenta dodavanjem varijanti.
Ako na temelju unosa postavki eksperimenta predvidimo da će količina podataka biti preniska da bi se dosegnula statistička značajnost, vidjet ćete upozorenje. U tom slučaju preporučujemo da izvršite prilagodbe kako biste prikupili dovoljno podataka za dosezanje statističke značajnosti. Da biste vidjeli moguće sljedeće korake, pogledajte Preporučene radnje za male količine podataka.
Sljedeće preporuke pomoći će vam da izmijenite količinu podataka potrebnu za postizanje statističke značajnosti kako bi trajanje eksperimenta bilo skraćeno.
U odjeljku Dodavanje varijanti možete dodavati i uklanjati varijante cijena. Eksperiment s cijenom mora imati barem jednu varijantu. Da biste dodali varijante:
- U padajućem izborniku odaberite Povećaj cijenu ili Smanji cijenu i unesite postotak koji želite primijeniti na odabir. Napominjemo sljedeće:
- Morate unijeti cijeli broj.
- Ako odaberete Smanji cijenu, morate unijeti vrijednost između 1 i 99.
- Ako odaberete Povećaj cijenu, morate unijeti vrijednost između 1 i 999.
- Nakon dodavanja varijante na stranici su navedeni kontrolni raspon cijena i raspon cijena varijante. Možete kliknuti Prikaz cijena proizvoda da biste saznali više, uključujući nazive i ID-jeve proizvoda, područja s posebnom poreznom stopom (ako je primjenjivo) i porezne podatke. Ovdje možete vidjeti stvarne promjene postotka cijene nakon primjene deviznog tečaja i obrasca određivanja cijena za pojedine države.
- Kliknite + Dodaj drugu varijantu i ponovite prethodne korake ako u eksperiment želite uključiti više varijanti. Raspon kontrolne cijene i raspon cijena varijanti također su navedeni na stranici.
- Kliknite Dalje da biste nastavili s postavljanjem eksperimenta preciznim ugađanjem postavki eksperimenta.
U odjeljku Upravljanje postavkama možete postaviti parametre ciljanja kako biste precizno prilagodili eksperiment. Da biste upravljali postavkama eksperimenta:
- Unesite publiku eksperimenta. To je postotak korisnika koji će biti u eksperimentu. Ti korisnici ravnomjerno će se podijeliti na vaše varijante i kontrolnu grupu. Imajte na umu da će korisnici izvan eksperimenta vidjeti izvornu (kontrolnu) cijenu, ali neće biti uključeni u analizu eksperimenta.
- Napomena: morate unijeti cijeli broj između 1 i 100.
- Unesite razinu pouzdanosti. Smanjivanjem razine pouzdanosti povećat će se vjerojatnost lažno pozitivnog rezultata, no smanjit će se i vrijeme izvođenja eksperimenta.
- Unesite minimalno uočljiv efekt. To pokazuje razinu poboljšanja koju želite da eksperiment otkrije. Zamislite to kao odluku o tome koliko želite da eksperiment bude osjetljiv. To će prilagođavati vaše procijenjeno vrijeme do izračuna statističke značajnosti.
- Suzite parametre ciljanja kako biste precizno prilagodili eksperiment. Procijenjeno vrijeme do izračuna statističkog značaja možete smatrati smjernicom utemeljenom na svojim postavkama.
Sad ste spremni za pokretanje eksperimenta. Tijekom eksperimenta cijene će se promijeniti za odabrane proizvode ponuđene putem aplikacije i države/regije. Eksperiment možete završiti u bilo kojem trenutku.
- Prije nego što pokrenete eksperiment, potvrdite da razumijete sljedeće informacije:
- Eksperiment može utjecati na prihod vaše aplikacije. Napominjemo da bez statistički značajnih rezultata svaki negativan ili pozitivan rezultat prihoda možda neće biti značajan pa preporučujemo da pričekate dok ne dosegnete statističku značajnost.
- Dok je eksperiment aktivan, nećete moći uređivati cijene za odabrane proizvode ponuđene putem aplikacije.
- Primjena rezultata eksperimenta utjecat će na sve uključene države/regije i proizvode ponuđene putem aplikacije.
- Kliknite Potvrdi i pokreni.
Eksperiment možete završiti u bilo kojem trenutku.
- Otvorite Play konzolu, a zatim stranicu Eksperimenti s cijenama (Unovčavajte putem Playa > Eksperimenti s cijenama).
- Otvorite eksperiment koji želite završiti.
- Kliknite Završi eksperiment.
Kad završite eksperiment, cijene eksperimenta vratit će se na izvornu cijenu za relevantne države/regije i proizvode ponuđene putem aplikacije. Eksperiment i analiza više neće biti aktivni.
Ako ste zakazali budući eksperiment, možete ga otkazati i slijedeći prethodne korake. Eksperimenti koji se otkazuju u roku od 24 sata od zakazanog datuma početka povremeno se privremeno prikazuju uživo.
Važno je da znate različite moguće ishode eksperimenata i što oni mogu značiti za vašu aplikaciju i njezinu strategiju određivanja cijena. Pažljivo pročitajte ovaj odjeljak prije primjene rezultata.
Kad se rezultati smatraju statistički značajnima, bit će dostupni na stranici za analizu eksperimenta i primit ćete obavijest u poruci u pristigloj pošti.
Pregled rezultata
Otvorite eksperiment da biste vidjeli rezultat i analizu. Otvorite stranicu Eksperimenti s cijenama (Unovčavajte putem Playa > Eksperimenti s cijenama) i kliknite strelicu desno pored svojeg eksperimenta da biste pogledali stranicu analize eksperimenta.
Ishod se prikazuje pri vrhu stranice. Proširite odjeljak Mogući ishodi eksperimenta da biste vidjeli različite ishode i njihovo značenje. Ispod rezultata eksperimenta nalazi se kratak opis s objašnjenjem rezultata. Primjerice, možete pročitati "Varijanta [X] ima najbolje rezultate" iznad kratkog objašnjenja rezultata ishoda eksperimenta, koji, primjerice, može glasiti: "Varijanta [X] ostvarila je najveći prihod". U slučajevima kada se varijanta podudara s kontrolom ili ima bolje rezultate od kontrole, možete kliknuti Primijeni varijantu [X] da biste primijenili varijantu i u skladu s time ažurirali cijene proizvoda ponuđenog putem aplikacije. Da biste saznali više, pročitajte Primjena varijanti.
Napomena: eksperimenti automatski završavaju 14 dana nakon rezultata ili možete kliknuti Završi eksperiment da biste ih odmah završili.
Savjet: eksperimentalne cijene možete primijeniti u bilo kojem trenutku, ali preporučujemo da pričekate da rezultati budu statistički značajni te da primijenite samo promjene cijena koje pokazuju bolje rezultate od vaše kontrolne grupe.
Pregledajte dodatne podatke
Ispod ishoda nalazi se tablica u kojoj se navode podaci na kojima se temelji statistički podatak. U tablici se prikazuju varijante, prihod, prihod u odnosu na kontrolu (i prihod u odnosu na kontrolu kao postotak) te interval pouzdanosti za vaše varijante. Ako želite razumjeti različite mjerne podatke na stranici analize svojeg eksperimenta, proširite odjeljak Definicije mjernih podataka.
Ispod tablice, u odjeljku Podaci koji idu u prilog, možete pregledati detaljnije podatke. Prema zadanim postavkama, grafikon prikazuje podatke o prihodu u odnosu na kontrolne podatke do posljednjeg dostupnog datuma. U ovom prikazu osjenčano područje predstavlja interval pouzdanosti. a grafikon vam omogućuje da pregledate kako se interval pouzdanosti mijenjao tijekom vremena. Odabrano trajanje i datume možete prilagoditi pomoću filtara trajanja i datuma u gornjem desnom kutu grafikona.
Pomoću filtra mjernih podataka u gornjem lijevom kutu grafikona možete prikazati i sljedeće mjerne podatke: prihod, narudžbe, kupce, stopu kupaca, ARRPU (ti su mjerni podaci opisani i u odjeljku Definicije mjernih podataka). Ako odaberete drugi mjerni podatak, grafikon neće prikazivati interval pouzdanosti jer se on temelji na prihodu.
Da biste vidjeli više pojedinosti na razini proizvoda, rezultate eksperimenta možete izvesti i kao CSV datoteku. Polja, format i primjere za CSV izvoz možete vidjeti tako da proširite odjeljak Definicije mjernih podataka (CSV izvoz).
Savjet: možete kliknuti Prikaži postavke eksperimenta da biste vidjeli pojedinosti postavljanja eksperimenta koje možete filtrirati i prema varijanti i prema državi/regiji. To vam može pomoći da se brzo podsjetite parametara eksperimenta.
Prije primjene varijante imajte na umu sljedeće:
- Ako su jedan od vaših proizvoda ponuđenih putem aplikacije ili više njih povezani s predloškom za cijene, primjenom varijante ažurirat će se cijene u državi/regiji vašeg eksperimenta i prekinuti veza tih proizvoda ponuđenih putem aplikacije s predloškom, odnosno predlošcima.
- Varijantu možete primijeniti samo na sve proizvode ponuđene putem aplikacije i države/regije u eksperimentu. Izračunavamo statističku značajnost tijekom cijelog postavljanja i stoga ne možemo jamčiti isti ishod i učinak ako se primijeni samo dio postavljenih država/regija i proizvoda ponuđenih putem aplikacije.
Ako se vaše varijante podudaraju s vašom kontrolom ili su je nadmašile, cijene možete ažurirati primjenom varijante:
- Otvorite Play konzolu, a zatim stranicu Eksperimenti s cijenama (Unovčavajte putem Playa> Eksperimenti s cijenama).
- Kliknite Primijeni varijantu pored varijante koju želite primijeniti.
Cijene vaše aplikacije ažurirat će se kako ste je konfigurirali u varijanti. Eksperiment će automatski završiti 14 dana nakon utvrđivanja rezultata ili možete kliknuti Završi eksperiment da biste ga odmah završili.
Postoji više mogućih ishoda eksperimenta. Ishod eksperimenta određuje vaše sljedeće korake.
| Ishod eksperimenta |
Značenje |
Napomene/preporuke |
| Varijanta [X] je imala najbolju izvedbu |
Varijanta [X] postala je statistički značajna tako što je ostvarila smisleni rezultat s najvećim porastom prihoda. |
Primijenite varijantu [X] jer ima značajno bolju izvedbu od vaše kontrole i drugih varijanti. |
| Obje su varijante imale bolju izvedbu od kontrolne grupe |
Obje su varijante ostvarile veći prihod od kontrolne grupe. Pregledajte rezultate i odlučite koju varijantu primijeniti. |
Vi odlučujete koju ćete varijantu primijeniti. |
| Varijante i kontrolna grupa imaju jednaku izvedbu |
Nijedna varijanta nije postigla veći prihod od kontrolne grupe. |
Eksperiment je prikupio dovoljno podataka i izjednačio varijante i kontrolnu skupinu. |
| Kontrolna grupa imala je najbolju izvedbu |
Kontrolna grupa ostvarila je veći prihod od obje varijante. |
To sugerira da su vaše trenutačne cijene za države eksperimenta i proizvode već optimizirane. Nastavite upotrebljavati kontrolnu cijenu za proizvode i države eksperimenta. |
| Potrebno je više podataka |
Eksperiment je u tijeku. Potrebno je više podataka za određivanje statistički značajnog rezultata. |
Idite na preporučene radnje za male količine podataka da biste utvrdili sljedeće korake. |
| Dvojben rezultat |
Eksperiment je prerano prekinut ili je dosegao maksimalno trajanje eksperimenta od šest mjeseci. Potrebno je više podataka za određivanje statistički značajnog ishoda. Pokušajte pokrenuti novi eksperiment s drugim postavkama. |
Idite na preporučene radnje za male količine podataka da biste utvrdili sljedeće korake. To može biti pokazatelj da su kupci ravnodušni prema cijenama proizvoda ponuđenih putem aplikacije u državama/regijama eksperimenta. |
U ovoj tablici navedeni su mjerni podaci sa stranice za analizu eksperimenta.
| Mjerni podatak |
Definicija |
| Prihod od svih proizvoda |
Bruto prihod od korisnika eksperimenta koji su kupili proizvode ponuđene putem aplikacije u eksperimentu i izvan njega tijekom navedenog razdoblja. |
| Prosječan prihod po korisniku koji plaća (ARPPU) |
Ukupan bruto prihod od proizvoda ponuđenih putem aplikacije podijeljen s brojem jedinstvenih kupaca (korisnici koji su izvršili barem jednu kupnju proizvoda ponuđenih putem aplikacije u eksperimentu i izvan njega) u navedenom razdoblju za eksperiment. Taj mjerni podatak pomoći će vam da shvatite vrijednost kupaca za svoju tvrtku. |
| Stopa kupaca (28 dana) |
Postotak mjesečno aktivnih korisnika koji su izvršili barem jednu kupnju proizvoda ponuđenog putem aplikacije tijekom eksperimenta, uključujući proizvode ponuđene putem aplikacije izvan eksperimenta.
Napomena: to je ključni mjerni podatak za razumijevanje konverzije kupca i proširenje vaše baze korisnika koji plaćaju.
|
| Kupci |
Jedinstveni korisnici koji kupe barem jedan proizvod ponuđen putem aplikacije po cijeni u eksperimentu tijekom navedenog razdoblja. |
| Prihod od novih korisnika koji su instalirali aplikaciju |
Bruto prihod od korisnika koji su prvi put instalirali aplikaciju na bilo kojem uređaju nakon datuma početka eksperimenta i koji su prvi put vidjeli cijenu u eksperimentu. Neki korisnici isključuju dijeljenje tih podataka s Googleom. |
| Narudžbe |
Broj eksperimentalnih kupnji proizvoda putem aplikacije izvršenih tijekom eksperimenta tijekom navedenog razdoblja. |
| Prihod |
Bruto prihod od korisnika eksperimenta koji su kupili proizvode ponuđene putem aplikacije u eksperimentu tijekom navedenog razdoblja. |
Ova tablica sadržava polja, format i primjere definicija mjernih podataka izvezenih kao CSV datoteka.
|
Polje
|
Format |
Primjeri i napomene |
| Datum |
Niz |
23. ožujka 2023.
Datum narudžbi na temelju pacifičke vremenske zone (u formatu MMM DD, GGGG).
|
| ID koda artikla |
Niz |
treasure_chest_for_new_users
Jedinstveni ID proizvoda ponuđenog putem aplikacije koji je naveo razvojni programer.
|
| Naslov proizvoda |
Niz |
coins, monthly subscription itd.
Naziv proizvoda ponuđenog putem aplikacije koji je naveo razvojni programer.
|
| Država |
Niz |
BR, US, FR itd.
Jedinstveni kôd države za relevantne mjerne podatke o proizvodu ponuđenom putem aplikacije.
|
| Krak eksperimenta |
Niz |
KONTROLA, A, B
Krak eksperimenta za relevantne mjerne podatke o proizvodu ponuđenom putem aplikacije.
|
| Valuta razvojnog programera |
Niz
|
USD, EUR, THB itd.
Valuta za koju su narudžbe konvertirane. To je lokalna valuta u kojoj primate isplatu.
|
| Prihod |
Numerički |
2794,60
Ukupan bruto prihod za navedeni proizvod ponuđen putem aplikacije (s obzirom na datum, državu i krak eksperimenta).
|
| Prihod od novih korisnika koji su instalirali aplikaciju |
Numerički |
577,20
Bruto prihod od korisnika koji su prvi put instalirali aplikaciju na bilo kojem uređaju nakon datuma početka eksperimenta i prvi put vidjeli cijenu (s obzirom na navedeni proizvod ponuđen putem aplikacije, s obzirom na datum, državu i krak eksperimenta). Neki korisnici isključuju dijeljenje tih podataka s Googleom.
|
| Narudžbe |
Numerički |
240
Ukupan broj narudžbi za navedeni proizvod ponuđen putem aplikacije (s obzirom na datum, državu i krak eksperimenta).
|
| Kupci |
Numerički |
197
Ukupni broj kupaca za određeni proizvod (s obzirom na datum, državu i krak eksperimenta). Kupci su korisnici koji su kupili određeni proizvod ponuđen putem aplikacije tijekom eksperimenta.
|
Česta pitanja
Sažmi sve Proširi sve
Države/regije ispunjavaju kriterije za eksperimente s cijenama samo ako ispunjavaju sljedeće kriterije:
- Države/regije u kojima ste već uveli izdanje (uključujući verzije internog testa).
- Države/regije koje podržavaju lokalnu valutu.
Ako je količina podataka vrlo mala, podaci nisu dostupni. Osim toga, neki podaci prikazani na stranici analize eksperimenta mogu kasniti do sedam dana.
Da. Imajte na umu da će se, ako provedete eksperiment s proizvodom ponuđenim putem aplikacije povezanim s predloškom za cijene, cijene u eksperimentalnoj državi/regiji zaključati tijekom trajanja eksperimenta. Međutim, i dalje možete mijenjati cijene za druge države/regije.
Ako se odlučite primijeniti nove cijene na kraju eksperimenta, prekinut će se veza svih eksperimentalnih proizvoda ponuđenih putem aplikacije s povezanim predlošcima za cijene, a predložak za cijene ostat će nepromijenjen. Ako rezultate eksperimenta želite primijeniti bez prekidanja veze između proizvoda ponuđenih putem aplikacije i predložaka za cijene, otvorite stranicu Predlošci za cijene (Settings > Predlošci za cijene) i ažurirajte cijene na tom mjestu.
Da biste saznali više, pogledajte predloške za cijene.
Ne, cijene eksperimenta mogu se testirati samo unutar minimalnih i maksimalnih raspona cijena definiranih po državi/regiji. Kada tijekom postavljanja eksperimenta unosite promjenu cijene, ako je ta promjena na bilo kojoj granici, automatski se preuzima minimalna ili maksimalna cijena. Naš popis raspona cijena i valuta po državama možete pogledati u dijelu Podržane lokacije za distribuciju korisnicima Google Playa.
Ne, eksperimente s cijenama možete izvoditi ako ste integrirani s bilo kojom verzijom sustava naplate Google Playa.
Preporučujemo da ne provodite istodobne A/B eksperimente kako biste dobili smislene rezultate. Na primjer, Firebase funkcionira neovisno o eksperimentima s cijenama na Play konzoli, a bilo kakve smetnje s određenim proizvodima ponuđenima putem aplikacije mogu utjecati na pouzdanost rezultata eksperimenta.
Za izračun intervala pouzdanost primjenjujemo metodu ponovnog uzorkovanja, tj. jackknife (statistički alat koji omogućuje procjenu varijance preko ponovnog uzorkovanja), a zatim primjenjujemo sekvencijalno testiranje vjerojatnosti mješavine kako bismo kontrolirali povećanu lažno pozitivnu stopu od kontinuiranog nadzora. Statistička značajnost određuje se kada se interval pouzdanosti ne presijeca s nulom (0).
Eksperiment se automatski zaustavlja 14 dana nakon što dosegne statističku značajnost ili nakon maksimalnog trajanja eksperimenta od šest mjeseci. Eksperiment ne prekidamo tijekom trajanja procijenjenog prilikom postavljanja eksperimenta, već ga zaustavljamo nakon otkrivanja statistički značajne razlike, uz davanje 14 dana za primjenu nove cijene prije vraćanja cijena na izvorni iznos.
Ne, to nije moguće. Korisnik će tijekom trajanja eksperimenta vidjeti samo jednu cijenu.
Ne, to nije moguće jer je eksperiment već počeo prikupljati rezultate s parametrima koje ste izvorno odabrali. Paralelno možete pokrenuti drugi eksperiment s odabranim dodatnim državama/regijama ili možete završiti trenutačni eksperiment i postaviti novi. Imajte na umu da ćete, ako se preklapaju proizvodi ponuđeni putem aplikacije i države/regije, morati pričekati 30 dana prije postavljanja novog eksperimenta.
Statistička značajnost izračunava se u svim državama/regijama u kombinaciji s eksperimentalnim proizvodima, za razliku od pojedinačnih izračuna za svaku kombinaciju. Ako vas zanima prilagodba cijene u određenoj državi/regiji, preporučujemo da u postavkama eksperimenta odaberete samo tu državu/regiju.
Da, varijantu možete primjenjivati čak i nakon što se cijene vrate na izvornu verziju.
Ako proizvodi ponuđeni putem aplikacije u vašem eksperimentu ne generiraju prihode koji se značajno razlikuju od vaše kontrole ili ako nema dovoljno podataka, smatra se da rezultati nisu jasni. Zbog tog rezultata moguće je da su kupci indiferentni na te dvije cijene.
Općenito, veći uzorak ima veću snagu. Ako je jedan proizvod ponuđen putem aplikacije koji želite testirati jedan od najpopularnijih proizvoda među brojnim kupcima, tada bi testiranje samo tog proizvoda u aplikaciji moglo biti korisno. U suprotnome, preporučujemo da zajedno testirate više proizvoda ponuđenih putem aplikacije kako biste povećali snagu svojeg eksperimenta.
Ako imate više proizvoda ponuđenih putem aplikacije koji se do neke granice međusobno izmjenjuju (na primjer 0,99 USD za 60 jedinica valute u aplikaciji i 4,99 USD za 300 jedinica valute u aplikaciji), preporučujemo da zajedno testirate oba proizvoda ponuđena putem aplikacije radi izbjegavanja kanibalizacije.
Općenito preporučujemo eksperimente s jednom varijantom, s proizvodima ponuđenima putem aplikacije s izvornim cijenama kao kontrolom te s proizvodima ponuđenima putem aplikacije s popustom kao varijantom. Eksperiment s dvije varijante ima vaše proizvode ponuđene putem aplikacije kao kontrolne i iste proizvode ponuđene putem aplikacije po dvjema različitim konkurentnim cijenama. Rezultate takvih eksperimenata teško je protumačiti, a eksperimenti s dvije varijante zahtijevaju više vremena nego eksperimenti s jednom varijablom da bi se dosegnula statistička značajnost.
Ako interval pouzdanosti ne uključuje vrijednost nule u učinku, smatramo da se radi o statistički značajnom rezultatu. U našem slučaju to je razlika između kontrolne potrošnje i varijantne potrošnje.
Slijedi primjer izgleda intervala pouzdanosti s konačnim pozitivnim rezultatom:
Slijedi primjer izgleda intervala pouzdanosti s konačnim negativnim rezultatom:
Slijedi primjer izgleda intervala pouzdanosti s nejasnim rezultatima koji zahtijevaju više podataka:
Da, neprekidno nadziremo lažiranje lokacija korisnika i poduzimamo mjere za ublažavanje učinka na naše razvojne programere i njihove proizvode.
Povezani sadržaj