Prehľad
Experimenty s cenami vám umožňujú uskutočňovať A/B testy a pomocou výsledkov s istotou a presnosťou upravovať ceny svojej aplikácie podľa kúpnej sily na rôznych trhoch po celom svete. Experimentmi s cenami môžete navyše testovať rôzne cenové body porovnaním s kontrolnou cenou na svojich kľúčových trhoch, aby ste zvýšili výnosy. Nastavením optimálnych skupín cien pre produkty v aplikácii v rôznych krajinách alebo regiónoch zaistíte, že v súvislosti so svojou aplikáciou uplatňujete najlepšiu cenovú stratégiu, ktorá bude ďalej zvyšovať výnosy a zároveň priláka nových používateľov. Táto funkcia je založená na cenách a predajoch produktov v aplikáciách, preto ju môže používať iba vývojár, ktorý je zároveň obchodník.
Príprava a uskutočnenie experimentu s cenou
Sekcie nižšie poskytujú usmernenia a dôležité informácie o príprave aj uskutočňovaní experimentov s cenami a o tom, ako porozumieť ich výsledkom.
Než začnete
Rozbaľte a prečítajte si všetky sekcie nižšie, než začnete nastavovať experiment s cenami v službe Play Console.
Podmienky- Experimenty môžete uskutočňovať iba s aktívnymi produktmi v aplikácii.
- Používatelia, ktorí chcú využívať experimenty s cenami, musia mať povolenia spravovať prezentáciu v obchode a zobrazovať finančné údaje.
Všeobecné informácie
- Experimenty prebiehajú len na úrovni aplikácie, nemôžete ich uskutočňovať vo viacerých aplikáciách.
- Maximálna dĺžka experimentu môže byť šesť mesiacov. Po tomto období sa ceny vrátia na pôvodné hodnoty. Na pôvodné hodnoty sa vrátia aj 14 dní po tom, ako začnú byť štatisticky významné.
- V rámci jedného experimentu môžete otestovať maximálne 1 000 produktov v aplikácii.
- Rovnaký experiment s prekrývajúcimi sa produktmi v aplikácii aj krajinami nemôžete uskutočniť minimálne 30 dní od skončenia pôvodného experimentu.
- Experimenty nemôžete pozastaviť. Môžete ich iba spustiť alebo úplne zastaviť. Zastavený experiment sa nedá znova spustiť.
Obmedzenia krajín alebo regiónov
- V jednej krajine alebo regióne môžete naraz uskutočniť iba jeden experiment. Ak napríklad už uskutočňujete nejaký experiment v Nórsku, nemôžete v tejto krajine uskutočniť ďalší v iných službách, pokiaľ ten prvý nezastavíte a nevytvoríte nový.
- Testovaná cena musí byť v prípade nákupov v aplikácii v rámci definovaných cenových rozsahov. Ak je percento ceny mimo definovaného cenového rozsahu pre danú krajinu alebo región v rámci experimentu, automaticky sa zastaví na hraničnej hodnote.
- Pre každý experiment môžete mať maximálne dva varianty ceny a kontrolnú skupinu.
- Experimenty sa dajú implementovať iba vo vybranej krajine alebo regióne, nie v súvisiacich oblastiach s inou daňovou sadzbou. Ak napríklad uskutočňujete experiment vo Francúzsku, vylúčia sa spojené francúzske územia (Francúzska Guyana, Francúzska Polynézia, Guadeloupe, Martinik, Mayotte, Nová Kaledónia, Réunion, Svätý Bartolomej, Svätý Martin (fr.), Saint Pierre a Miquelon, Wallis a Futuna).
Zmeny produktov v aplikácii
- Nemôžete zmeniť cenu produktu v aplikácii, ktorý je vybraný v spustenom experimente. Ak to chcete urobiť, musíte experiment zastaviť. Pamätajte:
- Jedinými výnimkami sú prípady, kedy spustíte dva experimenty a použijete výsledky prvého. Prípadne môžete zmeniť ceny produktu v aplikácii iba pre krajiny nezapojené do experimentu, keď je daný produkt v aplikácii prepojený so šablónou na tvorbu cien.
- Ak konfigurujete nový produkt v aplikácii počas aktívneho experimentu, bude z experimentu vynechaný.
Uskutočňovanie experimentov a používanie výsledkov
- Ceny experimentu môžete použiť kedykoľvek, ale odporúčame počkať, kým budú výsledky štatisticky významné, a použiť iba zmeny cien s lepšou výkonnosťou ako v kontrolnej skupine.
- Do experimentu, ktorý je momentálne spustený, nemôžete pridať ďalšie krajiny či regióny ani produkty.
- Ak máte minimálne jeden zo svojich produktov prepojený so šablónou na tvorbu cien, použitím daných cien aktualizujete ceny platné v krajine alebo regióne svojho experimentu a odpojíte tieto produkty od príslušnej šablóny.
Experimenty vo veľkej miere používajú štatistickú terminológiu. Ak tieto výrazy nepoznáte, môže byť pre vás užitočné prečítať si glosár nižšie.
| Výraz | Definícia | Poznámky |
|---|---|---|
| Interval spoľahlivosti |
Rozsah hodnôt, ktoré vyjadrujú neistotu o tom, či je výsledok štatisticky významný. |
Ide o kľúčový signál, podľa ktorého sa dá interpretovať výsledok experimentu. Štatistická významnosť je stanovená, keď interval spoľahlivosti nezahŕňa nulu. Niekoľko prvých dní sa nemusí zobrazovať, keď sú k dispozícii nízke objemy údajov. |
| Úroveň spoľahlivosti |
Pravdepodobnosť, pre ktorú je pozorovaný rozdiel medzi variantom a kontrolnou skupinou pravdivý. Príklad: Úroveň spoľahlivosti 90 % znamená, že v 10 % prípadov dochádza k pozorovanému rozdielu náhodne. Inými slovami, existuje menej ako 10 % pravdepodobnosť, že by sa testované údaje mohli vyskytnúť v prípade, že medzi kontrolnou skupinou a variantom nie je žiadny rozdiel. |
|
| Kontrolná skupina | Pôvodná testovacia premenná (obsahujúca produkt v aplikácii s pôvodnou cenou) je vetva experimentu. | Kontrolnú cenu vidí časť publika experimentu definovaná počas nastavovania a všetci používatelia, ktorí sa na ňom nezúčastňujú. |
| Výsledok experimentu | Výsledok vášho experimentu. | Potenciálne výsledky experimentu sú uvedené v nasledujúcej sekcii. |
| Falošne pozitívny výsledok | Keď je negatívna udalosť nesprávne kategorizovaná ako pozitívna. |
Keď zistíme, že rozdiel vo výdavkoch medzi kontrolnou a testovacou skupinou je štatisticky významný (pozitívny), ale v skutočnosti nie je (negatívny), považuje sa za falošne pozitívny. Miera falošne pozitívnych výsledkov je pomer počtu falošne pozitívnych udalostí a celkového počtu skutočných negatívnych udalostí. |
| Produkty v aplikácii |
Položky, za ktoré sa používateľom účtuje jednorazový poplatok. Produkty v aplikácii môžu zahŕňať položky, ako sú virtuálny tovar (napríklad úrovne hry alebo elixíry) a prémiové služby vo vašej aplikácii na Google Play. |
Môžete si vybrať jeden alebo viacero rôznych produktov v aplikácii, maximálne však 2 000. Všeobecne znamená viac údajov menej času na zistenie rozdielu medzi kontrolnou skupinou a variantmi, ak sú medzi nimi rozdiely. Experimentovanie so zmenou ceny v mnohých produktoch môže znížiť potenciál, že dôjde ku kanibalizácii. |
| Minimálny zistiteľný účinok |
Tento vstup vyberiete pri nastavovaní experiementu. Vyjadruje úroveň zlepšenia, ktorú chcete experimentom zistiť. Môžete si to predstaviť ako nastavenie citlivosti experimentu, čo ovplyvňuje odhadovaný čas do štatistickej významnosti. Po výbere minimálneho zistiteľného účinku sa zobrazí odhad času potrebného na stanovenie štatisticky významného výsledku na základe historických údajov podľa vášho výberu. Napríklad menší minimálny zistiteľný účinok znamená citlivejší experiment, ktorý vedie k dlhšiemu odhadovanému času do výpočtu štatistickej významnosti. |
|
| Účinok vychádzajúci z novosti | Fenomén vyskytujúci sa v prípadoch, keď používatelia môžu uprednostniť alebo vyskúšať novú funkciu (napríklad nový produkt alebo cenový bod) dokonca aj vtedy, keď nie je lepšia ani príťažlivejšia než pôvodná. V tomto prípade sa nárast časom zastaví. | Experimenty, ktoré sa rýchlo skončia, môžu byť ovplyvnené účinkom vychádzajúcim z novosti. Odporúčame vám zvážiť tento účinok pomocou odhadovaných týždňov do štatisticky významných výpočtov. |
| Štatistická významnosť | V A/B teste stanovuje, či je rozdiel medzi kontrolnou skupinou a variantom skutočný alebo náhodný. |
Ak interval spoľahlivosti nezahŕňa nulovú hodnotu v účinku, považuje sa to za štatisticky významný výsledok. V našom prípade je účinok rozdiel medzi výdavkami kontrolnej skupiny a variantov. V sekcii Časté otázky si môžete pozrieť niekoľko názorných príkladov intervalov spoľahlivosti. |
| Variant | Variácia pôvodnej testovacej premennej pre vetvu experimentu. | Variant je nárast alebo pokles ceny produktu v aplikácii s pôvodnou cenou. |
Nastavenie experimentu
Pri nastavovaní experimentu doň odporúčame zahrnúť všetky navzájom zameniteľné produkty v aplikácii (napríklad hernú menu), aby ste obmedzili kanibalizáciu.
Ak pracujete s nízkymi objemami údajov, pravdepodobne nebudete mať dostatok údajov na vyvodenie záveru z experimentu. Ak napríklad uskutočňujete experiment s novým produktom, naša odhadovaná dĺžka experimentu a upozornenia nemusia byť presné. V tomto prípade sa môže v službe Play Console zobraziť upozornenie, že bol predpovedaný veľmi nízky objem údajov v rámci vášho časového rozsahu. Ak sa zobrazuje správa o nízkom objeme údajov, možno nebudete mať dostatok údajov na uskutočnenie experimentu alebo budete môcť doladiť parametre experimentu. Tu je niekoľko navrhovaných akcií na riešenie problémov s nízkymi objemami údajov.
Ak naopak uskutočňujete dlhší experiment, je dôležité zohľadniť, že výsledky môžu ovplyvniť ekonomické faktory, ako sú globálne fluktuácie meny v priebehu času.
1. časť: pridanie podrobností
Ak chcete pridať podrobnosti experimentu:
- Otvorte službu Play Console a prejdite na stránku Experimenty s cenami (Speňažovanie > Experimenty s cenami).
- Kliknite na Vytvoriť experiment.
- V sekcii Pridanie podrobností zadajte názov experimentu a jeho krátky opis (nepovinné).
- Poznámka: Názov a krátky opis experimentu sa používateľom nezobrazujú.
- Vyberte krajiny alebo regióny, s ktorými chcete experimentovať.
- Dôležité: Experimenty s cenami sú implementované iba vo vybranej krajine alebo regióne, nie v spojených oblastiach. Ak napríklad vyberiete Francúzsko, vaše experimenty s cenami budú implementované iba vo Francúzsku, nie v súvisiacich územiach, ako je Francúzska Guyana.
- V rozbaľovacej ponuke Produkty vyberte produkty v aplikácii, s ktorými chcete experimentovať. V rozbaľovacej ponuke sú uvedené dostupné názvy produktov v aplikácii, identifikátory a cena.
- Dôležité: Ak vyberiete produkt v aplikácii, ktorý je prepojený so šablónou na tvorbu cien, príslušná šablóna na tvorbu cien bude počas trvania experimentu uzamknutá.
- Vyberte dátum spustenia. Experiment sa začne o 00:00 PT v deň, ktorý vyberiete. Experiment môžete naplánovať tak, aby sa spustil v budúcnosti.
- Kliknutím na Ďalej pokračujte v nastavovaní experimentu pridaním variantov.
Ak na základe vašich vstupných údajov zadaných pri nastavovaní experimentu predpovieme, že objemy údajov budú príliš nízke na dosiahnutie štatistickej významnosti, zobrazí sa upozornenie. V takom prípade odporúčame vykonať úpravy, aby ste zaistili, že zhromaždíte dostatok údajov na dosiahnutie štatistickej významnosti. Prípadné ďalšie kroky si pozrite v sekcii Odporúčané akcie pri nízkych objemoch údajov.
Odporúčané akcie pri nízkych objemoch údajovNasledujúce odporúčania vám pomôžu zmeniť objemy údajov potrebné na dosiahnutie štatistickej významnosti, aby sa trvanie experimentu skrátilo.
|
Krok nastavenia experimentu |
Odporúčaná akcia |
|---|---|
| 1. časť: pridanie podrobností | Zvýšte počet krajín alebo regiónov v experimente. |
| 1. časť: pridanie podrobností | Otestujte všetky produkty v aplikácii alebo zvýšte ich počet. |
| 2. časť: pridanie variantov | Znížte počet variantov z dvoch na jeden. |
| 2. časť: pridanie variantov |
Experimentujte so znížením ceny o väčšie percento (nižšia cena). Poznámka: Neovplyvní to počiatočný odhad, ale pomôže počas prebiehajúceho experimentu. |
| 3. časť: správa nastavení | Zvýšte veľkosť publika na jeden variant (napríklad 50 % kontrolná skupina a 50 % experimentálna). |
| 3. časť: správa nastavení |
Zvýšte minimálny zistiteľný účinok. Poznámka: Ovplyvňuje to iba experimenty, v ktorých varianty a kontrolná skupina dosahovali rovnakú výkonnosť. |
| 3. časť: správa nastavení | Znížte mieru spoľahlivosti. |
2. časť: pridanie variantov
V sekcii Pridanie variantov môžete pridať alebo odstrániť varianty cien. Experiment s cenou musí mať aspoň jeden variant. Ak chcete pridať varianty:
- V rozbaľovacej ponuke vyberte Zvýšiť cenu alebo Znížiť cenu a zadajte percento, ktoré chcete použiť vo svojom výbere. Pamätajte:
- Musíte zadať celé číslo.
- Ak vyberiete Znížiť cenu, musíte zadať hodnotu od 1 do 99.
- Ak vyberiete Zvýšiť cenu, musíte zadať hodnotu od 1 do 999.
- Po pridaní variantu sa na stránke zobrazia cenové rozsahy kontrolnej skupiny a variantov. Kliknutím na Zobraziť ceny produktov zobrazíte ďalšie podrobnosti vrátane názvov a identifikátorov produktov, oblastí s inou daňovou sadzbou (ak sú k dispozícii) a daňových údajov. Tu uvidíte skutočné zmeny percenta ceny po použití výmenného kurzu a cenových vzorov špecifických pre danú krajinu alebo región.
- Ak chcete do experimentu zahrnúť viaceré varianty, kliknite na + Pridať ďalší variant a zopakujte predchádzajúce kroky. Na tejto stránke sú uvedené aj cenové rozsahy kontrolnej skupiny a variantov.
- Kliknutím na Ďalej pokračujte v nastavovaní experimentu doladením jeho nastavení.
3. časť: správa nastavení
V sekcii Správa nastavení môžete nastaviť parametre zacielenia na doladenie experimentu. Ak chcete spravovať nastavenia experimentu:
- Zadajte publikum experimentu. Ide o percento používateľov, ktorí budú zapojení do experimentu. Budú rovnomerne rozdelení na varianty a kontrolnú skupinu. Upozorňujeme, že používateľom mimo experimentu sa bude zobrazovať aj pôvodná (kontrolná) cena, ale nebudú zahrnutí do analýzy experimentu.
- Poznámka: Musíte zadať celé číslo od 1 do 100.
- Zadajte úroveň spoľahlivosti. Znížením úrovne spoľahlivosti sa zvýši pravdepodobnosť falošne pozitívneho výsledku, ale skráti sa aj trvanie experimentu.
- Zadajte minimálny zistiteľný účinok. Vyjadruje úroveň zlepšenia, ktorú chcete experimentom zistiť. Môžete si to predstaviť ako nastavenie citlivosti experimentu. Tým sa upraví odhadovaný čas do výpočtu štatistickej významnosti.
- Spresnením parametrov zacielenia dolaďte svoj experiment. Ako pomôcku na základe nastavenia uvidíte odhadovaný čas do výpočtu štatistickej významnosti.
4. časť: spustenie experimentu
Teraz môžete spustiť experiment. Počas experimentu sa budú meniť ceny vybraných produktov v aplikácii vo zvolených krajinách alebo regiónoch. Experiment môžete kedykoľvek ukončiť.
- Pred spustením experimentu si potvrďte, že rozumiete týmto skutočnostiam:
- Experiment môže ovplyvniť výnosy vašej aplikácie. Upozorňujeme, že bez štatisticky významného výsledku nemusí byť každý negatívny alebo pozitívny výsledok výnosov zmysluplný, preto vám odporúčame počkať, kým dosiahnete štatistickú významnosť.
- Počas trvania experimentu nebudete môcť upravovať ceny vybraných produktov v aplikácii.
- Použitie výsledkov experimentu ovplyvní všetky zahrnuté krajiny alebo regióny a produkty v aplikácii.
- Kliknite na Potvrdiť a spustiť.
Nepovinné: Ukončite experiment
Experiment môžete kedykoľvek ukončiť.
- Otvorte službu Play Console a prejdite na stránku Experimenty s cenami (Speňažovanie > Experimenty s cenami).
- Otvorte experiment, ktorý chcete ukončiť.
- Kliknite na Ukončiť experiment.
Po skončení experimentu sa ceny experimentu vrátia na pôvodné hodnoty relevantných produktov v aplikácii vo zvolených krajinách a regiónoch. Experiment a analýza už nebudú aktívne.
Ak máte naplánovaný budúci experiment, môžete ho zrušiť aj podľa predchádzajúcich krokov. Experimenty zrušené do 24 hodín od ich plánovaného dátumu spustenia sú občas dočasne zverejnené.
Zobrazenie výsledkov experimentu a použitie variantov
Je dôležité, aby ste sa oboznámili s rôznymi potenciálnymi výsledkami experimentu a ich významom pre vašu aplikáciu a jej cenovú stratégiu. Než použijete výsledky, pozorne si prečítajte túto sekciu.
Zobrazenie a analýza výsledkov experimentu
Keď budú vaše výsledky považované za štatisticky významné, budú sprístupnené na stránke analýzy vášho experimentu a upozorníme vás na to správou v doručenej pošte.
Zobrazenie výsledku
Navštívte experiment a pozrite si výsledok aj analýzu. Prejdite na stránku Experimenty s cenami (Speňažovanie > Experimenty s cenami) a kliknutím na šípku doprava vedľa experimentu zobrazte stránku s analýzou experimentu.
Výsledok sa zobrazí hore na stránke. Rozbaľte sekciu Potenciálne výsledky experimentu a pozrite si rôzne výsledky aj ich význam. Pod výsledkom experimentu si môžete pozrieť krátky opis s jeho vysvetlením. Môže sa vám napríklad zobraziť výsledok experimentu „Variant [X] mal najlepšiu výkonnosť“ a nad ním jeho krátke vysvetlenie, ktoré môže byť napríklad „Variant [X] dosiahol najlepšie výnosy“. V prípadoch, keď má variant rovnakú alebo lepšiu výkonnosť než kontrolná skupina, môžete kliknutím na Použiť variant [X] aplikovať príslušný variant a náležite aktualizovať ceny svojho produktu v aplikácii. Viac sa dozviete v sekcii Použitie variantov.
Poznámka: Experimenty sa automaticky končia 14 dní po stanovení výsledku. Ak ich chcete ukončiť okamžite, môžete kliknúť na Ukončiť experiment.
Zobrazenie podporujúcich údajov
V tabuľke pod výsledkom sú údaje, na ktorých je založený štatistický výsledok. Sú v nej uvedené varianty, výnosy, porovnanie výnosov s kontrolnou skupinou (a výnosy v porovnaní s kontrolnou skupinou, vyjadrené v percentách), ako aj interval spoľahlivosti variantov. Ak chcete porozumieť rôznym metrikám na stránke analýzy experimentu, rozbaľte sekciu Definície metrík.
Pod tabuľkou v sekcii Podporné údaje nájdete podrobnejšie údaje. V grafe sa predvolene zobrazujú informácie o porovnaní výnosov s kontrolnou skupinu do najneskoršieho dátumu dostupnosti. V tomto zobrazení predstavuje sivá oblasť interval spoľahlivosti. V grafe uvidíte, ako sa menil v priebehu času. Vybrané trvanie a dátumy môžete upraviť pomocou filtrov trvania a dátumov v pravom hornom rohu grafu.
Pomocou filtra metrík v ľavom hornom rohu grafu môžete zobraziť aj tieto metriky: Výnosy, Objednávky, Kupujúci, Pomer kupujúcich, ARRPU (tieto metriky sú opísané aj v sekcii Definície metrík). Ak vyberiete inú metriku, graf nebude zobrazovať interval spoľahlivosti, pretože je založený na výnosoch.
Ak si chcete pozrieť ďalšie podrobnosti na úrovni produktu, môžete navyše exportovať výsledky experimentu ako súbor CSV. Polia, formát a príklady exportu súborov CSV si môžete pozrieť po rozbalení sekcie Definície metrík (export vo formáte CSV).
Použitie variantov
Pred použitím variantu zvážte toto:
- Ak máte minimálne jeden zo svojich produktov v aplikácii prepojený so šablónou na tvorbu cien, použitím variantu aktualizujete ceny platné v krajine alebo regióne svojho experimentu a odpojíte tieto produkty v aplikácii od príslušnej šablóny.
- Variant môžete použiť iba na všetky produkty v aplikácii a v rámci krajín či regiónov vo svojom experimente. Štatistická významnosť sa počíta vzhľadom na celé nastavenie, preto nemôžeme zaručiť rovnaký výsledok a účinok, keď bola použitá iba časť nastavených krajín alebo regiónov a produktov v aplikácii.
Ak mali varianty rovnakú alebo vyššiu výkonnosť ako kontrolná skupina, môžete svoje ceny aktualizovať použitím variantu:
- Otvorte službu Play Console a prejdite na stránku Experimenty s cenami (Speňažovanie > Experimenty s cenami).
- Kliknite na Použiť variant vedľa variantu, ktorý chcete použiť.
Ceny aplikácie budú aktualizované tak, ako bolo nakonfigurované vo variante. Experiment sa automaticky skončí 14 dní po stanovení výsledku. Ak ho chcete ukončiť okamžite, kliknite na Ukončiť experiment.
Potenciálne výsledky experimentuExperiment môže mať viacero potenciálnych výsledkov. Jeho výsledok určí ďalší postup.
| Výsledok experimentu | Význam | Poznámky/odporúčania |
|---|---|---|
| Variant [X] bol najvýkonnejší | Variant [X] sa stal štatisticky významným tým, že dosiahol zmysluplný výsledok s najväčším nárastom výnosov. | Použite variant [X], pretože výkonnosťou výrazne prekonáva kontrolnú skupinu aj ostatné varianty. |
| Oba varianty mali lepšie výsledky ako kontrolná skupina | Oba varianty dosiahli vyššie výnosy ako kontrolná skupina. Skontrolujte výsledky a rozhodnite sa, ktorý variant chcete použiť. | Vy rozhodujete, ktorý variant sa použije. |
| Varianty a kontrolná skupina mali rovnaké výsledky | Žiadny variant nedosiahol vyššie výnosy ako kontrolná skupina. | Experiment zhromaždil dostatok údajov a výsledkom je remíza variantov a kontrolnej skupiny. |
| Najlepšie výsledky mala kontrolná skupina | Kontrolná skupina dosiahla vyššie výnosy ako oba varianty. | Naznačuje to, že vaše aktuálne cenové body pre krajiny a produkt experimentu sú už optimalizované. Naďalej používajte kontrolnú cenu pre produkty a krajiny experimentu. |
| Vyžadujú sa ďalšie údaje | Experiment práve prebieha. Na určenie štatisticky významného výsledku je potrebných viac údajov. | Ak chcete určiť ďalší postup, prejdite na odporúčané akcie pri nízkych objemoch údajov. |
| Nejednoznačný výsledok | Experiment bol predčasne zastavený alebo dosiahol maximálne trvanie šesť mesiacov. Na určenie štatisticky významného výsledku je potrebných viac údajov. Skúste uskutočniť nový experiment s iným nastavením. | Ak chcete určiť ďalší postup, prejdite na odporúčané akcie pri nízkych objemoch údajov. Môže to naznačovať, že kupujúci nemajú záujem o ceny produktov v aplikácii v krajinách alebo regiónoch experimentu. |
V tejto tabuľke sú uvedené metriky zo stránky analýzy vášho experimentu.
| Metrika | Definícia |
|---|---|
| Výnosy zo všetkých produktov | Hrubé výnosy od používateľov experimentu, ktorí si v špecifikovanom období kúpili produkty v aplikácii v rámci aj mimo daného experimentu. |
| Priemerné výnosy na platiaceho používateľa (ARPPU) | Celkové hrubé výnosy z produktov v aplikácii vydelené počtom jedinečných kupujúcich (používateľov, ktorí uskutočnili aspoň jeden nákup produktov v aplikácii v rámci alebo mimo daného experimentu) v špecifikovanom období experimentu. Táto metrika vám pomôže pochopiť hodnotu kupujúcich pre vašu firmu. |
| Pomer kupujúcich (28 dní) |
Percento aktívnych používateľov za mesiac, ktorí počas experimentu uskutočnili aspoň jeden nákup produktu v aplikácii, a to vrátane produktov v aplikácií mimo daného experimentu. Poznámka: Ide o kľúčovú metriku, ktorá pomáha pochopiť konverziu kupujúcich a zvýšiť rozsah platiacej používateľskej základne. |
| Kupujúci | Jedineční používatelia, ktorí si v špecifikovanom období zakúpia aspoň jeden produkt v aplikácii za cenu implementovanú v danom experimentu. |
| Výnosy z nových používateľov, ktorí si nainštalovali aplikáciu | Hrubé výnosy od používateľov, ktorí si aplikáciu nainštalovali prvýkrát v ľubovoľnom zariadení po dátume spustenia experimentu a ktorí experimentovanú cenu videli prvý raz. Upozorňujeme, že niektorí používatelia sa odhlásia zo zdieľania týchto údajov s Googlom. |
| Objednávky | Počet nákupov produktov v aplikácii zapojených do experimentu za špecifikované obdobie, ku ktorým došlo počas experimentu. |
| Výnosy | Hrubé výnosy od používateľov experimentu, ktorí si v špecifikovanom období v experimente kúpili produkty v aplikácii. |
V tejto tabuľke sú uvedené polia, formát a príklady definícií metrík exportovaných ako súbor CSV.
|
Pole |
Formát | Príklady a poznámky |
|---|---|---|
| Dátum | Reťazec |
Dátum objednávok na základe tichomorského časového pásma (vo formáte MMM DD RRRR). |
| Identifikátor kódu SKU | Reťazec |
Jedinečný identifikátor produktu v aplikácii špecifikovaný vývojárom. |
| Názov produktu | Reťazec |
Názov produktu v aplikácii špecifikovaný vývojárom. |
| Krajina | Reťazec |
Jedinečný kód krajiny pre metriky relevantných produktov v aplikácii. |
| Vetva experimentu | Reťazec |
Vetva experimentu pre metriky relevantných produktov v aplikácii |
| Mena vývojára |
Reťazec |
Mena, na ktorú boli objednávky konvertované. Ide o miestnu menu, v ktorej vám bude suma vyplatená. |
| Výnosy | Číslice |
Celkové hrubé výnosy zo špecifikovaného produktu v aplikácii vzhľadom na dátum, krajinu a vetvu experimentu. |
| Výnosy z nových používateľov, ktorí si nainštalovali aplikáciu | Číslice |
Hrubé výnosy od používateľov, ktorí si aplikáciu nainštalovali prvýkrát v ľubovoľnom zariadení po dátume spustenia experimentu a cenu videli prvý raz (vzhľadom na špecifikovaný produkt v aplikácii, dátum, krajinu a vetvu experimentu). Upozorňujeme, že niektorí používatelia sa odhlásia zo zdieľania týchto údajov s Googlom. |
| Objednávky | Číslice |
Celkový počet objednávok špecifikovaného produktu v aplikácii (vzhľadom na dátum, krajinu a vetvu experimentu). |
| Kupujúci | Číslice |
Celkový počet kupujúcich špecifikovaného produktu (vzhľadom na dátum, krajinu a vetvu experimentu). Kupujúci sú používatelia, ktorí si počas experimentu kúpili konkrétny daný produkt v aplikácii. |
Časté otázky
V ktorých krajinách alebo regiónoch môžem uskutočňovať experimenty?Krajiny alebo regióny môžu byť zahrnuté do experimentov s cenami iba vtedy, keď spĺňajú nasledujúce kritériá:
- musia to byť krajiny alebo regióny, kde ste už uviedli nejaké vydanie na trh (aj v rámci interných testovacích kanálov);
- musia to byť krajiny alebo regióny, ktoré podporujú miestnu menu.
Ak sú objemy údajov veľmi nízke, nie sú k dispozícii žiadne údaje. Okrem toho niektoré údaje zobrazené na stránke analýzy vášho experimentu môžu mať oneskorenie až sedem dní.
Áno. Upozorňujeme, že ak uskutočníte experiment zahŕňajúci produkt v aplikácii prepojený so šablónou na tvorbu cien, ceny zapojené do experimentu v prípadne príslušných krajín alebo regiónov budú počas trvania experimentu uzamknuté. Stále však môžete zmeniť ceny pre ostatné krajiny alebo regióny.
Ak sa na konci experimentu rozhodnete použiť nové ceny, všetky produkty v aplikácii zapojené do experimentu budú odpojené od súvisiacich šablón na tvorbu cien a príslušná šablóna na tvorbu cien zostane nezmenená. Ak chcete použiť výsledky experimentu bez prepojenia svojich produktov v aplikáciách zo šablón na tvorbu cien, prejdite priamo na stránku Šablóny na tvorbu cien (Nastavenie > Šablóny na tvorbu cien) a aktualizujte ceny tam.
Viac sa dozviete v sekcii Šablóny na tvorbu cien.
Nie, ceny experimentu sa dajú testovať iba v rámci minimálneho a maximálneho cenového rozsahu definovaného pre jednotlivé krajiny alebo regióny. Ak počas nastavovania experimentu zadáte zmenu ceny a zmena ceny je na hornej alebo dolnej hraničnej hodnote, systém automaticky určí minimálnu alebo maximálnu cenu. V sekcii Podporované oblasti na distribúciu pre používateľov služby Google Play si môžete prezrieť zoznam cenových rozsahov a mien povolených v jednotlivých krajinách.
Nie. Môžete ich uskutočňovať, keď máte integrovanú akúkoľvek verziu fakturačného systému služby Google Play.
Všetky objednávky experimentu sú viditeľné v mesačných finančných reportoch na stiahnutie (reportoch odhadovaného predaja a zárobkov). Môžete zistiť, ktoré produkty v aplikácii zapojené do experimentu sa kupujú za cenu kontrolnej skupiny a cenu variantov v krajinách alebo regiónoch, v ktorých uskutočňujete svoj experiment s cenou.
Ak chcete zaistiť zmysluplné výsledky, odporúčame vám neuskutočňovať súčasne prebiehajúce A/B experimenty. Napríklad Firebase funguje nezávisle od experimentov s cenami v službe Play Console a akékoľvek rušenie s konkrétnymi produktmi v aplikácii môže ovplyvniť spoľahlivosť výsledkov experimentu.
Intervaly spoľahlivosti počítame pomocou služby Jackknife (štatistický nástroj, ktorý umožňuje odhadovať rozptyl prostredníctvom opätovného vzorkovania) a potom použitím testovania zmiešanej sekvenčnej pravdepodobnosti ovládame zvýšenú mieru falošne pozitívnych výsledkov v rámci trvalého sledovania. Štatistická významnosť je stanovená, keď interval spoľahlivosti nezahŕňa nulu.
Ak chcete využívať experimenty s cenami, musíte mať povolenia spravovať prezentáciu v obchode a zobrazovať finančné údaje.
Experiment sa automaticky zastaví 14 dní po dosiahnutí štatistickej významnosti alebo po uplynutí maximálnej dĺžky experimentu, ktorou je šesť mesiacov. Experiment nezastavíme po uplynutí odhadovaného trvania zadaného pri jeho nastavovaní. Namiesto toho ho zastavíme po zistení štatisticky významného rozdielu a poskytneme 14 dní na použitie nových cien, než sa vrátia na pôvodné hodnoty.
Nie, nie je to možné. Používateľovi sa počas trvania experimentu bude zobrazovať iba jedna cena.
Nie, nie je to možné, pretože experiment už začal zhromažďovať výsledky s parametrami, ktoré ste pôvodne vybrali. Môžete paralelne uskutočniť druhý experiment s ďalšími vybraným ikrajinami alebo regiónmi alebo môžete ukončiť aktuálny experiment a nastaviť nový. Upozorňujeme, že ak dôjde k prekrytiu produktov v aplikácii a krajín alebo regiónov, budete musieť počkať 30 dní, kým budete môcť nastaviť nový experiment.
Štatistická významnosť sa počíta v prípade všetkých krajín alebo regiónov skombinovaných s produktami zapojenými do experimentu, teda nepočíta sa osobitne pre každú kombináciu. Ak vás zaujíma úprava ceny v konkrétnej krajine alebo regióne, odporúčame v nastavení experimentu vybrať iba túto krajinu alebo región.
Áno, variant môžete použiť aj po tom, ako sa ceny vrátili na pôvodné hodnoty.
Ak produkty v aplikácii vášho experimentu nevygenerujú výnosy výrazne odlišné od kontrolnej skupiny alebo nie je k dispozícii dostatok údajov, výsledok sa považuje za nejednoznačný. V prípade tohto výsledku je možné, že kupujúci nemajú o príslušné dve ceny záujem.
Vo všeobecnosti platí, že väčšie vzorky poskytujú vyššiu výkonnosť. Ak chcete testovať produkt v aplikácii, ktorý je pre mnohých kupujúcich jeden z najobľúbenejších, oplatí sa otestovať iba ten. V opačnom prípade odporúčame testovať na viacerých produktoch v aplikácii naraz, aby sa zvýšila výkonnosť experimentu.
Ak máte viacero produktov v aplikácii, ktoré sú do určitej miery zameniteľné (napríklad 0,99 USD za 60 jednotiek meny v aplikácii a 4,99 USD za 300 jednotiek meny v aplikácii), odporúčame vám otestovať oba produkty v aplikácii, aby sa predišlo kanibalizácii.
Vo všeobecnosti odporúčame experimenty s jedným variantom, v rámci ktorých budú patriť vaše produkty v aplikácii s pôvodnou cenou do kontrolnej skupiny a zľavnené produkty v aplikácii do variantu. Experiment s dvoma variantmi používa vaše produkty v aplikácii s pôvodnými cenami ako kontrolnú skupinu a rovnaké produkty v aplikácii v dvoch rôznych cenových bodoch. Interpretácia výsledkov týchto experimentov môže byť náročná a v prípade experimentov s dvoma variantmi môže trvať dosiahnutie štatistickej významnosti dlhšie než pri experimentoch s jedným variantom.
Ak interval spoľahlivosti nezahŕňa nulovú hodnotu v účinku, považuje sa to za štatisticky významný výsledok. V našom prípade je účinok rozdiel medzi výdavkami kontrolnej skupiny a variantov.
Tu je príklad, ako by vyzeral interval spoľahlivosti s jednoznačným pozitívnym výsledkom:
Tu je príklad, ako by vyzeral s jednoznačným negatívnym výsledkom:
Tu je príklad, ako by vyzeral s nejednoznačným výsledkom, ktorý potrebuje viac údajov:
Áno, neustále sledujeme spoofing polohy používateľov a podnikáme opatrenia na zmiernenie vplyvu na našich vývojárov aj ich služby.
Súvisiaci obsah
- Prečítajte si viac o experimentoch s cenami a súvisiacich funkciách.
- Absolvujte kurz o experimentoch s cenami v programe Google Play Academy.