Apžvalga
Naudodami kainų eksperimentus galite vykdyti A / B versijų testavimą ir pagal rezultatus užtikrintai bei tiksliai koreguoti programos kainas pagal perkamąją galią skirtingose rinkose visame pasaulyje. Be to, naudodami kainų eksperimentus galite išbandyti skirtingas orientacines kainas ir jas palyginti su kontroline kaina pagrindinėse rinkose, kad padidintumėte pajamas. Nustatydami optimalias produktų programoje kainas skirtingose šalyse ir (arba) regionuose, taikote geriausią programos kainodaros strategiją, todėl jūsų pajamos toliau didėja ir vis tiek pritraukiate naujų naudotojų. Ši funkcija pagrįsta produktų programoje kainodara ir pardavimu, todėl ją gali naudoti tik prekybininkai kūrėjai.
Kainų eksperimento parengimas ir vykdymas
Tolesniuose skyriuose pateikiamos gairės ir svarbi informacija apie kainų eksperimentų parengimą, vykdymą bei jų rezultatų supratimą.
Prieš pradedant
Prieš pradėdami kainų eksperimento nustatymą sistemoje „Play Console“, išskleiskite ir perskaitykite kiekvieną toliau pateiktą skiltį.
Būtinosios sąlygos- Eksperimentams galite naudoti tik aktyvius produktus programoje.
- Naudotojai turi turėti leidimus tvarkyti pateikimą parduotuvėje ir peržiūrėti finansinius duomenis, kad galėtų naudoti kainų eksperimentus.
Bendroji informacija
- Eksperimentai vykdomi tik programos lygiu. Negalite vykdyti eksperimentų, į kuriuose įtrauktos kelios programos.
- Eksperimentas gali būti vykdomas ne ilgiau kaip šešis mėnesius ir praėjus šiam laikui vėl nustatoma pradinė kaina. Be to, pradinė kaina vėl nustatoma praėjus keturiolikai dienų nuo tada, kai pasiekiamas statistinis reikšmingumas.
- Per vieną eksperimentą galite testuoti daugiausia 1 000 produktų programoje.
- Negalite vykdyti to paties eksperimento su persidengiančiais produktais programoje ir persidengiančiomis šalimis, kol nuo pradinio eksperimento pabaigos nepraėjo bent trisdešimt dienų.
- Negalite pristabdyti eksperimentų. Galite tik juos vykdyti arba visiškai sustabdyti. Negalite iš naujo paleisti sustabdyto eksperimento.
Šalims ir (arba) regionams taikomi apribojimai
- Vienu metu bet kurioje konkrečioje šalyje ir (arba) regione galite vykdyti tik vieną eksperimentą. Pavyzdžiui, jei jau vykdote eksperimentą Norvegijoje, negalite ten vykdyti kito eksperimento su kitais produktais, nebent sustabdysite pirmą eksperimentą ir sukursite kitą.
- Testuojama kaina turi atitikti nustatytus kainų diapazonus, taikomus pirkimams programoje. Jei vykdant eksperimentą kainos procentinė vertė nepatenka į nustatytą tos šalies ar regiono kainų diapazoną, kainos procentinė vertė automatiškai sustabdoma pasiekus ribinę vertę.
- Nustatydami kiekvieną eksperimentą galite pasirinkti daugiausia du kainos variantus ir kontrolinę kainą.
- Eksperimentai vykdomi tik pasirinktoje šalyje ir (arba) pasirinktame regione, bet ne jų priklausomosiose teritorijose. Pavyzdžiui, jei vykdote eksperimentą Prancūzijoje, išskiriamos susijusios Prancūzijos teritorijos (Prancūzijos Gviana, Prancūzijos Polinezija, Gvadelupa, Martinika, Majotas, Naujoji Kaledonija, Reunjonas, Sen Bartelemi, Sen Martenas, Sen Pjeras ir Mikelonas, Volisas ir Futūna).
Produktų programoje pakeitimai
- Negalite keisti produkto programoje, įtraukto į vykdomą eksperimentą, kainos. Jei norite pakeisti kainą, turite sustabdyti eksperimentą. Atminkite toliau nurodytus dalykus.
- Vienintelė išimtis taikoma, kai vykdote du eksperimentus ir taikote pirmo eksperimento rezultatus. Arba, jei produktas programoje susietas su kainodaros šablonu, galite keisti produkto programoje kainas tik šalyse, kuriose eksperimentas nėra vykdomas.
- Jei konfigūruosite naują produktą programoje vykstant eksperimentui, produktas programoje nebus įtrauktas į eksperimentą.
Eksperimentų vykdymas ir rezultatų taikymas
- Eksperimento kainas galite taikyti bet kada, tačiau rekomenduojame palaukti, kol rezultatai bus statistiškai reikšmingi, ir taikyti tik pakitusias kainas, kurių našumas geresnis už kontrolinės grupės.
- Negalite pridėti papildomų šalių ir (arba) regionų ar produktų prie šiuo metu vykdomo eksperimento.
- Jei vienas ar daugiau produktų susieti su kainodaros šablonu, pritaikius kainas bus atnaujintos eksperimento šalies ir (arba) regiono kainos, šie produktai bus atsieti nuo šablono (-ų).
Eksperimentuose labai dažnai vartojami statistikos terminai. Jei šių terminų nežinote, gali būti naudinga peržiūrėti toliau pateiktą aiškinamąjį žodyną.
| Terminas | Apibrėžimas | Pastabos |
|---|---|---|
| Pasikliautinasis intervalas |
Verčių diapazonas, pagal kurį nustatoma, ar rezultatas yra statistiškai reikšmingas. |
Tai yra pagrindinis rodiklis, padedantis interpretuoti eksperimento baigtį. Statistinis reikšmingumas nustatomas, kai pasikliautinasis intervalas neapima nulinės vertės. Pirmąsias kelias dienas jis gali būti nerodomas dėl mažo duomenų kiekio. |
| Patikimumo lygis |
Tikimybė, kad nustatytas varianto ir kontrolinės kainos skirtumas yra teisingas. Pavyzdys: 90 proc. patikimumo lygis reiškia, kad 10 proc. atvejų skirtumas tikriausiai yra atsitiktinis. Kitaip tariant, yra mažiau nei 10 proc. tikimybė, kad teigiamas rezultatas gautas, nors kontrolinė kaina ir variantas nesiskiria. |
|
| Kontrolinė kaina | Pradinis bandymo kintamasis (apimantis pirkinio programoje kainą) eksperimento grupėje. | Kontrolinę kainą mato eksperimento auditorijos dalis, apibrėžta nustatant eksperimentą, ir visi naudotojai, nedalyvaujantys eksperimente. |
| Eksperimento baigtis | Tai yra eksperimento rezultatas. | Galimi eksperimento rezultatai nurodyti toliau pateiktoje skiltyje. |
| Klaidingai teigiamas | Kai neigiamas įvykis neteisingai priskiriamas teigiamų kategorijai. |
Kai nustatome, kad išlaidų skirtumas, kai taikomos kontrolinė ir testuojama kainos, yra statistiškai reikšmingas (teigiamas), bet iš tiesų šis skirtumas yra statistiškai nereikšmingas (neigiamas), gaunamas klaidingai teigiamas rezultatas. Klaidingai teigiamų rezultatų rodiklis yra klaidingai teigiamų rezultatų skaičiaus ir bendro iš tiesų neigiamų įvykių skaičiaus santykis. |
| Produktai programoje |
Elementai, už kuriuos naudotojai apmokestinami vieną kartą. Produktai programoje gali apimti tokius elementus kaip virtualios prekės (pvz., žaidimo lygiai ar eliksyrai) ir papildomos paslaugos, teikiamos jūsų programoje sistemoje „Google Play“. |
Galite pasirinkti vieną ar daug skirtingų produktų programoje (daugiausia 2 000). Apskritai, kuo daugiau duomenų turima, tuo greičiau aptinkamas kontrolinės kainos ir jos varianto (-ų) skirtumas, jei jie skiriasi. Eksperimentuojant su kainos pakeitimu daugelyje produktų, gali sumažėti kanibalizavimo tikimybė. |
| Mažiausias aptinkamas poveikis (MAP) |
Įvestis, kurią pasirenkate nustatydami eksperimentą, nurodanti pakeitimo lygį, kuris bus aptinkamas vykdant eksperimentą. Kitaip sakant, ši vertė nurodo pageidaujamą eksperimento jautrumą, kuris lemia numatomą laiką iki statistinio reikšmingumo. Pasirinkę MAP matysite numatomą laiką iki statistiškai reikšmingo rezultato nustatymo, atsižvelgiant į jūsų pasirinktus istorinius duomenis. Pavyzdžiui, mažesnis MAP reiškia didesnį eksperimento jautrumą, todėl ilgiau užtrunka, kol pasiekiamas statistinis reikšmingumas. |
|
| Naujumo efektas | Reiškinys, kai naudotojai gali rinktis arba išbandyti naują funkciją (pvz., naują produktą ar orientacinę kainą), net jei funkcija nėra geresnė ar patrauklesnė už originalią. Tokiu atveju susidomėjimas laikui bėgant paprastai sumažėja. | Naujumo efektas gali paveikti trumpai vykdomų eksperimentų rezultatus. Rekomenduojame palaukti numatytą laikotarpį iki statistinio reikšmingumo, kad šis efektas nepaveiktų rezultatų. |
| Statistinis reikšmingumas | Testuojant A / B versijas nustatoma, ar skirtumas tarp kontrolinės kainos ir varianto yra tikras, ar atsitiktinis. |
Jei pasikliautinasis intervalas neapima nulinės poveikio vertės, tai laikome statistiškai reikšmingu rezultatu. Mūsų atveju poveikis – tai išlaidų, taikant kontrolinę kainą ir variantą, skirtumas. Vaizdinius pasikliautinųjų intervalų pavyzdžius galite peržiūrėti skiltyje „Dažniausiai užduodami klausimai“. |
| Variantas | Pradinio testuojamo kintamojo variantas eksperimento grupėje. | Variantas yra arba kainos padidėjimas, arba kainos sumažėjimas, palyginti su pradine pirkinio programoje kaina. |
Eksperimento nustatymas
Siekiant apriboti kanibalizavimą, rekomenduojame nustatant eksperimentą įtraukti visus sukeičiamus produktus programoje, pvz., žaidimo valiutą.
Jei dirbate su mažai duomenų, tikriausiai jų nepakaks norint po eksperimento padaryti išvadas. Pavyzdžiui, jei vykdote naujo produkto eksperimentą, mūsų numatyta eksperimento trukmė ir įspėjimai gali būti netikslūs. Tokiu atveju sistemoje „Play Console“ galite matyti įspėjimą, kad per jūsų pasirinktą laikotarpį numatoma gauti labai maža duomenų. Jei gaunate pranešimą apie mažą duomenų kiekį, galbūt nepakanka duomenų eksperimentui vykdyti. Galite patikslinti eksperimento parametrus. Toliau nurodyta, kaip siūlome šalinti mažo duomenų kiekio problemas.
Ir atvirkščiai, jei vykdote ilgesnį eksperimentą, svarbu apsvarstyti, ar rezultatus gali paveikti ekonominiai veiksniai, pvz., visuotiniai valiutos svyravimai laikui bėgant.
1 dalis: išsamios informacijos pridėjimas
Jei norite pridėti išsamios eksperimento informacijos, atlikite toliau nurodytus veiksmus.
- Atidarykite „Play Console“ ir eikite į puslapį Kainų eksperimentai (Gauti pajamų > Kainų eksperimentai).
- Spustelėkite Kurti eksperimentą.
- Skiltyje „Įtraukti duomenų“ įveskite eksperimento pavadinimą ir trumpą eksperimento aprašymą (nebūtina).
- Pastaba: naudotojai nematys eksperimento pavadinimo ir trumpo aprašymo.
- Pasirinkite šalis ir (arba) regionus, kuriuose norite vykdyti eksperimentą.
- Svarbu: kainų eksperimentai diegiami tik pasirinktoje šalyje ir (arba) regione, bet ne su jais susijusiose vietovėse. Pavyzdžiui, jei pasirinksite Prancūziją, kainų eksperimentai bus įdiegti tik Prancūzijoje, o ne susijusiose teritorijose, pvz., Prancūzijos Gvianoje.
- Išskleidžiamajame meniu Produktai pasirinkite produktus programoje, kuriuos norite įtraukti į eksperimentą. Išskleidžiamajame meniu išvardyti pasiekiami produktų programoje pavadinimai, ID ir kaina.
- Svarbu: jei pasirinksite produktą programoje, susietą su kainodaros šablonu, kainodaros šablono nebus galima redaguoti, kol vyks kainų eksperimentas.
- Pasirinkite pradžios datą. Eksperimentas prasidės pasirinktą dieną 00:00 PT. Galite suplanuoti eksperimentą paleisti ateityje.
- Spustelėkite Kitas, kad galėtumėte tęsti eksperimento nustatymą pridėdami variantų.
Jei pagal eksperimento sąrankos įvestį nustatysime, kad duomenų apimtis yra per maža, kad būtų galima pasiekti statistiškai reikšmingų rezultatų, bus rodomas įspėjimas. Tokiu atveju rekomenduojame pakoreguoti įvestis, kad surinktumėte pakankamai duomenų, leidžiančių pasiekti statistinį reikšmingumą. Jei norite peržiūrėti galimus kitus veiksmus, žr. skiltį „Rekomenduojami veiksmai, kai duomenų kiekis mažas“.
Rekomenduojami veiksmai, kai duomenų kiekis mažasToliau pateiktos rekomendacijos padės gauti daugiau duomenų, reikalingų norint pasiekti statistinį reikšmingumą ir sutrumpinti eksperimento trukmę.
|
Eksperimento sąrankos veiksmas |
Rekomenduojamas veiksmas |
|---|---|
| 1 dalis: išsamios informacijos pridėjimas | Padidinkite eksperimento šalių ir (arba) regionų skaičių. |
| 1 dalis: išsamios informacijos pridėjimas | Testuokite visus produktus programoje arba padidinkite produktų programoje skaičių. |
| 2 dalis: variantų pridėjimas | Sumažinkite variantų skaičių nuo dviejų iki vieno. |
| 2 dalis: variantų pridėjimas |
Eksperimentuokite didesne procentine dalimi sumažindami kainą (taikydami mažesnę kainą). Pastaba: tai neturės įtakos pradiniam įvertinimui, bet bus naudinga vykdant eksperimentą. |
| 3 dalis: nustatymų tvarkymas | Padidinkite kiekvieno varianto auditorijos dydį (pvz., 50 proc. kontrolinė kaina ir 50 proc. eksperimentinė kaina). |
| 3 dalis: nustatymų tvarkymas |
Padidinkite mažiausią aptinkamą poveikį. Pastaba: tai turi įtakos tik eksperimentams, kuriuose varianto (-ų) ir kontrolinės kainos našumas buvo toks pats. |
| 3 dalis: nustatymų tvarkymas | Sumažinkite patikimumo lygį. |
2 dalis: variantų pridėjimas
Skiltyje „Pridėti variantus“ galite pridėti kainos variantų ir juos pašalinti. Į kainų eksperimentą turi būti įtrauktas bent vienas variantas. Jei norite pridėti variantų, atlikite toliau nurodytus veiksmus.
- Išskleidžiamajame meniu pasirinkite Padidinti kainą arba Sumažinti kainą ir įveskite taikytiną procentinę vertę. Atminkite toliau nurodytus dalykus.
- Turite įvesti sveikąjį skaičių.
- Jei pasirinksite Sumažinti kainą, turėsite įvesti vertę nuo 1 iki 99.
- Jei pasirinksite Padidinti kainą, turėsite įvesti vertę nuo 1 iki 999.
- Pridėjus variantą, puslapyje rodomi kontrolinių kainų diapazonas ir kainos variantų diapazonas. Spustelėkite Peržiūrėti produkto kainas, jei reikia daugiau informacijos, įskaitant produktų pavadinimus ir ID, priklausomąsias teritorijas (jei taikoma) ir mokesčių informaciją. Čia galite sužinoti faktinius procentinius kainų pokyčius, atsižvelgiant į valiutos kursą ir konkrečios šalies kainodaros modelius.
- Spustelėkite + Pridėti kitą variantą ir pakartokite ankstesnius veiksmus, jei į eksperimentą norite įtraukti kelis variantus. Puslapyje taip pat pateikiami kontrolinių kainų diapazonas ir kainos variantų diapazonas.
- Spustelėkite Kitas, kad galėtumėte tęsti patikslindami eksperimento nustatymus.
3 dalis: nustatymų tvarkymas
Skiltyje „Tvarkyti nustatymus“ galite nustatyti taikymo parametrus, kad patikslintumėte eksperimentą. Jei norite tvarkyti eksperimento nustatymus, atlikite toliau nurodytus veiksmus.
- Įveskite eksperimento auditoriją. Tai yra eksperimente dalyvausiančių naudotojų procentinė dalis. Šie naudotojai bus padalyti po lygiai variantui (-ams) ir kontrolinei kainai. Atminkite, kad eksperimente nedalyvaujantys naudotojai taip pat matys pradinę (kontrolinę) kainą, bet nebus įtraukti į eksperimento analizę.
- Pastaba: turite įvesti sveikąjį skaičių nuo 1 iki 100.
- Įveskite patikimumo lygį. Sumažinus patikimumo lygį padidės klaidingai teigiamų rezultatų tikimybė, bet taip pat sutrumpės eksperimento vykdymo laikas.
- Įveskite mažiausią aptinkamą poveikį. Jis nurodo pakeitimo lygį, kurį norite aptikti vykdydami eksperimentą. Kitaip sakant, turite pasirinkti pageidaujamą eksperimento jautrumą. Jis lems numatomą laiką iki statistinio reikšmingumo pasiekimo.
- Patikslinkite taikymo parametrus, kad eksperimentas tiksliau atitiktų jūsų poreikius. Keičiant nustatymus kinta numatomas laikas iki statistinio reikšmingumo pasiekimo. Jį naudokite kaip orientyrą.
4 dalis: eksperimento paleidimas
Dabar esate pasiruošę paleisti eksperimentą. Vykdant eksperimentą gali keistis pasirinktų produktų programoje bei šalių ir (arba) regionų kainos. Eksperimentą galite užbaigti bet kuriuo metu.
- Prieš pradėdami eksperimentą patvirtinkite, kad suprantate toliau nurodytus dalykus.
- Eksperimentas gali turėti įtakos jūsų programos pajamoms. Atminkite, kad be statistiškai reikšmingo rezultato bet koks neigiamų ar teigiamų pajamų rezultatas gali būti nereikšmingas, todėl rekomenduojame palaukti, kol bus pasiektas statistinis reikšmingumas.
- Kol eksperimentas vykdomas, negalite redaguoti pasirinktų produktų programoje kainų.
- Eksperimento rezultatų taikymas turės įtakos visoms įtrauktoms šalims ir (arba) regionams bei produktams programoje.
- Spustelėkite Patvirtinti ir paleisti.
Pasirenkama: eksperimento užbaigimas
Eksperimentą galite užbaigti bet kuriuo metu.
- Atidarykite „Play Console“ ir eikite į puslapį Kainų eksperimentai (Gauti pajamų > Kainų eksperimentai).
- Atidarykite eksperimentą, kurį norite užbaigti.
- Spustelėkite Užbaigti eksperimentą.
Užbaigus eksperimentą, eksperimentinės kainos, taikomos atitinkamose šalyse ir (arba) regionuose bei produktams programoje, vėl pakeičiamos į pradines kainas. Eksperimentas ir analizė nebebus vykdomi.
Jei suplanavote būsimą eksperimentą, taip pat galite jį atšaukti atlikdami anksčiau nurodytus veiksmus. Eksperimentai, kurie atšaukiami per 24 valandas nuo suplanuotos pradžios datos, kartais vykdomi laikinai.
Eksperimento rezultatų peržiūra ir variantų taikymas
Svarbu, kad susipažintumėte su skirtingais galimais eksperimento rezultatais ir ką jie gali reikšti jūsų programai ir jos kainodaros strategijai. Prieš pritaikydami rezultatus atidžiai perskaitykite šią skiltį.
Eksperimento rezultatų peržiūra ir analizė
Jei rezultatai laikomi statistiškai reikšmingais, jie pateikiami eksperimento analizės puslapyje. Apie tai jums bus pranešta atsiunčiant pranešimą į gautuosius.
Rezultatų peržiūra
Rezultatus ir analizę galite peržiūrėti eksperimento puslapyje. Eikite į puslapį Kainų eksperimentai (Gauti pajamų > Kainų eksperimentai) ir spustelėkite rodyklę dešinėn šalia eksperimento, kad peržiūrėtumėte eksperimento analizės puslapį.
Rezultatas rodomas puslapio viršuje. Išskleiskite skiltį „Galimi eksperimento rezultatai“ ir peržiūrėkite skirtingus rezultatus bei ką jie reiškia. Po eksperimento rezultatu pateiktas trumpas aprašymas, paaiškinantis rezultatą. Pavyzdžiui, galite matyti „Variantas [X] buvo našiausias“, o po juo – trumpą eksperimento rezultato paaiškinimą, pvz., „Variantas [X] užtikrino didžiausias pajamas“. Tais atvejais, kai variantas toks pat našus kaip kontrolinė kaina arba našesnis, galite spustelėti Taikyti variantą [X], kad variantas būtų pritaikytas ir atitinkamai būtų atnaujinta produkto programoje kainodara. Jei norite sužinoti daugiau, žr. „Variantų taikymas“.
Pastaba: eksperimentai užbaigiami automatiškai po keturiolikos dienų nuo rezultato nustatymo arba galite spustelėti Užbaigti eksperimentą, kad jis būtų nutrauktas iš karto.
Pagrindžiančių duomenų peržiūra
Po rezultatu lentelėje rodomi duomenys, kuriais pagrįstas statistinis rezultatas. Lentelėje pateikiamas variantas (-ai), pajamos, su kontroline kaina palygintos pajamos (taip pat pajamos, palygintos su kontroline kaina kaip procentine verte), varianto (-ų) pasikliautinasis intervalas. Jei norite sužinoti apie įvairią metriką, pateikiamą eksperimento analizės puslapyje, išskleiskite toliau pateiktą skiltį „Metrikos apibrėžtys“.
Po lentele esančioje skiltyje „Pagrindžiantys duomenys“ galite peržiūrėti išsamesnę informaciją. Pagal numatytuosius nustatymus diagramoje nurodomos pajamos, palygintos su kontroline kaina iki naujausios pasiekiamos datos. Šio rodinio užtemdyta sritis atitinka pasikliautinąjį intervalą. Diagramoje galite peržiūrėti, kaip pasikliautinasis intervalas keitėsi laikui bėgant. Galite koreguoti pasirinktą trukmę ir datas naudodami trukmės ir datos filtrus, esančius diagramos viršutiniame dešiniajame kampe.
Naudojant metrikos filtrą diagramos viršutiniame kairiajame kampe, taip pat gali būti rodoma ši metrika: pajamos, užsakymai, pirkėjai, pirkėjo santykis, VMNP (ši metrika taip pat aprašyta skiltyje „Metrikos apibrėžtys“). Jei pasirinksite kitą metriką, diagramoje nebus rodomas pasikliautinasis intervalas, nes jis pagrįstas pajamomis.
Jei norite peržiūrėti daugiau išsamios produkto lygio informacijos, taip pat galite eksportuoti eksperimento rezultatus kaip CSV failą. Spustelėję skiltį „Metrikos apibrėžtys (CSV eksportavimas)“ galite peržiūrėti CSV eksportavimo failo laukus, formatą ir pavyzdžius.
Variantų taikymas
Prieš taikydami variantą atminkite toliau nurodytus dalykus.
- Jei vienas ar daugiau produktų programoje susieti su kainodaros šablonu, pritaikius variantą bus atnaujintos eksperimento šalies ir (arba) regiono kainos ir šie produktai programoje bus atsieti nuo šablono (-ų).
- Variantą galite taikyti tik visiems produktams programoje ir eksperimento šalims ir (arba) regionams. Statistinį reikšmingumą apskaičiuojame taikydami visus sąrankos parametrus, todėl negalime garantuoti to paties rezultato ir poveikio, jei kaina pritaikyta tik daliai šalių ir (arba) regionų bei produktų programoje.
Jei variantas (-ai) buvo toks pat našus (-ūs) kaip kontrolinė kaina arba našesnis (-i), galite atnaujinti kainodarą taikydami variantą.
- Atidarykite „Play Console“ ir eikite į puslapį Kainų eksperimentai (Gauti pajamų > Kainų eksperimentai).
- Šalia taikytino varianto spustelėkite Taikyti variantą.
Programos kainodara bus atnaujinta taip, kaip sukonfigūruota tame variante. Eksperimentas baigsis automatiškai praėjus keturiolikai dienų nuo rezultato nustatymo arba galite spustelėti Užbaigti eksperimentą, kad jis būtų nutrauktas iš karto.
Galimos eksperimento baigtysEksperimento baigtys gali būti įvairios. Jos lemia, kokie turėtų būti kiti veiksmai.
| Eksperimento baigtis | Reikšmė | Pastabos ir (arba) rekomendacijos |
|---|---|---|
| Variantas [X] našumas buvo geriausias | Variantas [X] buvo statistiškai reikšmingas, nes gautas reikšmingas rezultatas ir labiausiai padidėjo pajamos. | Taikykite variantą [X], nes jo rezultatai daug geresni nei kontrolinės kainos ir kito (-ų) varianto (-ų). |
| Abiejų variantų rezultatai buvo geresni nei kontrolinės kainos | Abu variantai pasiekė didesnes pajamas nei kontrolinė kaina. Peržiūrėkite rezultatus ir nuspręskite, kurį variantą taikyti. | Jūs sprendžiate, kurį variantą taikyti. |
| Varianto (-ų) ir kontrolinės kainos našumas vienodas | Nė vienas variantas nepasiekė didesnių pajamų už kontrolinę kainą. | Vykdant eksperimentą sukaupta pakankamai duomenų. Varianto (-ų) ir kontrolinės kainos rezultatai vienodi. |
| Geriausią rezultatą pasiekė kontrolinė kaina | Kontrolinė kaina pasiekė didesnes pajamas nei abu variantai. | Tai nurodo, kad eksperimento šalims ir produktams taikomos orientacinės kainos jau optimalios. Toliau naudokite kontrolinę kainą eksperimento produktams ir šalims. |
| Reikia daugiau duomenų | Jūsų eksperimentas vykdomas. Norint nustatyti statistiškai reikšmingą rezultatą, reikia daugiau duomenų. | Kiti veiksmai nurodyti skiltyje „Rekomenduojami veiksmai, kai duomenų kiekis mažas“. |
| Negalutinis rezultatas | Eksperimentas sustabdytas anksčiau laiko arba pasiekta ilgiausia eksperimento trukmė (šeši mėnesiai). Norint nustatyti statistiškai reikšmingą baigtį, reikia daugiau duomenų. Pabandykite vykdyti naują eksperimentą naudodami kitus nustatymus. | Kiti veiksmai nurodyti skiltyje „Rekomenduojami veiksmai, kai duomenų kiekis mažas“. Tai gali reikšti, kad šalyse ir (arba) regionuose, kuriuose vykdomas eksperimentas, pirkėjai nekreipia dėmesio į produktų programoje kainą. |
Šioje lentelėje išvardyta metrika, pateikiama eksperimento analizės puslapyje.
| Metrika | Apibrėžimas |
|---|---|
| Visos pajamos iš produktų | Bendrosios pajamos iš eksperimente dalyvaujančių naudotojų, kurie pirko į eksperimentą patenkančius ir nepatenkančius produktus programoje per nurodytą laikotarpį. |
| Vidutinės mokančio naudotojo pajamos (VMNP) | Bendrosios pajamos iš produktų programoje, padalytos iš unikalių pirkėjų (naudotojų, kurie įsigijo bent vieną į eksperimentą patenkantį ir nepatenkantį produktą programoje) per nurodytą eksperimento laikotarpį skaičiaus. Ši metrika padės suprasti pirkėjų vertę jūsų verslui. |
| Pirkėjo santykis (28 dienos) |
Mėnesio aktyvių naudotojų, kurie įsigijo bent vieną produktą programoje eksperimento metu, procentas, įskaitant į eksperimentą nepatenkančius produktus programoje. Pastaba: tai yra pagrindinė metrika, padedanti suprasti pirkėjų konversijas ir padidinti mokančių naudotojų grupę. |
| Pirkėjai | Unikalūs naudotojai, kurie įsigyja bent vieną produktą programoje už eksperimentinę kainą per nurodytą laikotarpį. |
| Pajamos iš naujų įdiegusių žmonių | Bendrosios pajamos iš naudotojų, kurie pirmą kartą įdiegė programą bet kuriame įrenginyje po eksperimento pradžios datos ir pirmą kartą matė eksperimentinę kainą. Atminkite, kad kai kurie naudotojai atsisako bendrinti šiuos duomenis su „Google“. |
| Užsakymai | Eksperimento produktų programoje įsigijimų, vykdant eksperimentą nurodytą laikotarpį, skaičius. |
| Pajamos | Bendrosios pajamos iš eksperimente dalyvaujančių naudotojų, kurie įsigijo eksperimento produktų programoje per nustatytą laikotarpį. |
Šioje lentelėje išvardyti eksportuojamų CSV failų laukai, formatai ir metrikos apibrėžimų pavyzdžiai.
|
Laukas |
Formatas | Pavyzdžiai ir pastabos |
|---|---|---|
| Data | Eilutė |
Užsakymų data pagal Ramiojo vandenyno laiko juostą (tokiu formatu: MM DD, MMMM). |
| SKU ID | Eilutė |
Kūrėjo nurodytas produkto programoje unikalus ID. |
| Produkto pavadinimas | Eilutė |
Kūrėjo nurodytas produkto programoje pavadinimas. |
| Šalis | Eilutė |
Unikalus atitinkamos produkto programoje metrikos šalies kodas. |
| Eksperimento grupė | Eilutė |
Atitinkamos produkto programoje metrikos eksperimento grupė. |
| Kūrėjo valiuta |
Eilutė |
Valiuta, į kurią konvertuota užsakymo vertė. Tai yra vietinė valiuta, kuria jums mokama. |
| Pajamos | Skaitinis |
Bendrosios pajamos iš nurodyto produkto programoje (atsižvelgiant į datą, šalį ir eksperimento grupę). |
| Pajamos iš naujų įdiegusių žmonių | Skaitinis |
Bendrosios pajamos iš naudotojų, kurie pirmą kartą įdiegė programą bet kuriame įrenginyje po eksperimento pradžios datos ir pirmą kartą matė eksperimentinę kainą (atsižvelgiant į datą, šalį ir eksperimento grupę). Atminkite, kad kai kurie naudotojai atsisako bendrinti šiuos duomenis su „Google“. |
| Užsakymai | Skaitinis |
Bendrasis nurodyto produkto programoje užsakymų skaičius (atsižvelgiant į datą, šalį ir eksperimento grupę). |
| Pirkėjai | Skaitinis |
Bendrasis nurodyto produkto pirkėjų skaičius (atsižvelgiant į datą, šalį ir eksperimento grupę). Pirkėjai – tai naudotojai, kurie vykstant eksperimentui įsigijo konkretų produktą programoje. |
Dažniausiai užduodami klausimai
Sutraukti viską Išskleisti viską
Kuriose šalyse ir (arba) regionuose galiu vykdyti eksperimentus?Kainų eksperimentus šalyse ir (arba) regionuose galima vykdyti tik tada, jei tos šalys ir (arba) regionai atitinka toliau nurodytus kriterijus.
- Šalys ir (arba) regionai, kuriuose jau išleidote leidimą (įskaitant vidinio bandymo grupes).
- Šalys ir (arba) regionai, kuriuose palaikoma vietinė valiuta.
Jei duomenų labai mažai, nepasiekiami jokie duomenys. Be to, kai kurie eksperimento analizės puslapyje rodomi duomenys gali vėluoti iki septynių dienų.
Taip. Atminkite, kad, jei vykdote eksperimentą, į kurį įtrauktas produktas programoje, susietas su kainodaros šablonu, eksperimentinės šalies ir (arba) regiono kainų negalima redaguoti visą eksperimento laikotarpį. Tačiau vis tiek galite keisti kitų šalių ir (arba) regionų kainas.
Jei pasibaigus eksperimentui pasirinksite taikyti naujas kainas, visi į eksperimentą įtraukti produktai programoje bus atsieti nuo susietų kainodaros šablonų, o kainodaros šablonas liks nepakitęs. Jei norite taikyti eksperimento rezultatus neatsiedami produktų programoje nuo kainodaros šablonų, eikite tiesiai į puslapį Kainodaros šablonai (Sąranka > Kainodaros šablonai) ir čia atnaujinkite kainas.
Jei norite sužinoti daugiau, žr. kainodaros šablonus.
Ne, testuojama eksperimentinė kaina turi patekti į šaliai ir (arba) regionui taikomus mažiausios ir didžiausios kainų diapazonus. Jei atliekant eksperimento sąranką įvestas kainos pokytis peržengia kurį nors apribojimą, automatiškai nustatoma mažiausia arba didžiausia kaina. Jei norite peržiūrėti kainų diapazonų ir valiutų, leidžiamų įvairiose šalyse, sąrašą, žr. skiltį „Palaikomos platinimo „Google Play“ naudotojams vietovės“.
Ne, kainų eksperimentus galite vykdyti, jei esate integravę bet kurią „Google Play“ atsiskaitymo sistemos versiją.
Visi eksperimento užsakymai nurodomi atsisiunčiamose mėnesio finansų ataskaitose (apskaičiuotų pardavimo duomenų ir pajamų ataskaitose). Galite sužinoti, kurie į eksperimentą įtraukti produktai programoje buvo įsigyti už kontrolinę kainą ir kainos variantus šalyse ir (arba) regionuose, kuriuose vykdote kainos eksperimentą.
Rekomenduojame tuo pačiu metu nevykdyti A / B versijų eksperimentų, kad rezultatai būtų reikšmingi. Pavyzdžiui, „Firebase“ veikia nepriklausomai nuo kainų eksperimentų sistemoje „Play Console“ ir bet kokie konkrečių produktų programoje pakeitimai gali trukdyti gauti patikimus eksperimento rezultatus.
Naudodami „jackknife“ metodą (statistinį įrankį, leidžiantį įvertinti dispersiją naudojant atranką), apskaičiuojame pasikliautinuosius intervalus, tada rinkiniui taikome nuosekliuosius tikimybių kriterijus, kad kontroliuotume padidėjusį nuolat stebint užfiksuotų klaidingai teigiamų rezultatų rodiklį. Statistinis reikšmingumas nustatomas, kai pasikliautinasis intervalas neapima nulinės vertės.
Jei norite naudoti kainų eksperimentus, turite turėti leidimus tvarkyti pateikimą parduotuvėje ir peržiūrėti finansinius duomenis.
Eksperimentas automatiškai sustabdomas praėjus keturiolikai dienų nuo tada, kai pasiekiamas statistinis reikšmingumas, arba praėjus maksimaliai eksperimento trukmei (šešiems mėnesiams). Eksperimento nesustabdome praėjus numatomai jo trukmei, nurodytai atliekant eksperimento sąranką, tačiau sustabdome aptikus statistinį reikšmingumą. Per keturiolika dienų galite pritaikyti naują kainodarą, o praėjus šiam laikui vėl nustatomos pradinės kainos.
Ne, tai neįmanoma. Kol eksperimentas vykdomas, naudotojas mato tik vieną kainą.
Ne, tai neįmanoma, nes paleidus eksperimentą pradedami rinkti rezultatai, taikant iš pradžių pasirinktus parametrus. Galite lygiagrečiai vykdyti antrą eksperimentą, įtraukę pageidaujamų kitų šalių ir (arba) regionų, arba užbaigti dabartinį eksperimentą ir nustatyti naują. Atminkite, kad jei bus persidengiančių produktų programoje ar šalių ir (arba) regionų, turėsite palaukti 30 dienų prieš nustatydami naują eksperimentą.
Statistinis reikšmingumas skaičiuojamas visose šalyse ir (arba) regionuose kartu su į eksperimentą įtrauktais produktais, o ne atskirai vertinant kiekvieną derinį. Jei jus domina kainos koregavimas konkrečioje šalyje ir (arba) regione, rekomenduojame atliekant eksperimento sąranką pasirinkti tik tą šalį ir (arba) regioną.
Taip, galite taikyti variantą, net jei vėl buvo nustatyta pradinė kaina.
Jei į eksperimentą įtraukti produktai programoje negeneruoja pajamų, kurios labai skiriasi nuo kontrolinės kainos sugeneruotų pajamų, arba nepakanka duomenų, rezultatas laikomas negalutiniu. Gavus tokį rezultatą, pirkėjai gali nekreipti dėmesio į dvi kainas.
Paprastai didesnė imtis duoda daugiau naudos. Jei vienas produktas, kurį ketinate testuoti, yra vienas iš populiariausių produktų tarp daugybės pirkėjų, gali būti naudinga testuoti tik tą produktą programoje. Kitu atveju raginame kartu testuoti kelis produktus programoje, kad eksperimentas duotų daugiau naudos.
Jei turite kelis produktus programoje, kuriuos tam tikru mastu galima sukeisti (pvz., 0,99 USD už 60 valiutos vienetų programoje ir 4,99 USD už 300 valiutos vienetų programoje), rekomenduojame kartu testuoti abu produktus programoje, kad būtų išvengta kanibalizavimo.
Paprastai rekomenduojame vieno varianto eksperimentus, kaip kontrolinę kainą naudojant produkto (-ų) programoje pradinę (-es) kainą (-as), o produktui (-ams) programoje taikomą kainą su nuolaida naudojant kaip variantą. Jei į eksperimentą įtraukti du variantai, be produkto (-ų) programoje pradinės (-ių) kainos (-ų), naudojamos (-ų) kaip kontrolinė -(ės), taip pat naudojamos to (tų) produkto (-ų) programoje dvi skirtingos orientacinės kainos. Tokių eksperimentų rezultatus gali būti sunku interpretuoti, be to, vykdant dviejų variantų eksperimentus reikia daugiau laiko statistiniam reikšmingumui pasiekti, nei vykdant vieno varianto eksperimentus.
Jei pasikliautinasis intervalas neapima nulinės poveikio vertės, tai laikome statistiškai reikšmingu rezultatu. Mūsų atveju poveikis – tai išlaidų, taikant kontrolinę kainą ir variantą, skirtumas.
Toliau pateiktas pasikliautinojo intervalo ir galutinio teigiamo rezultato pavyzdys.
Toliau pateiktas pavyzdys, kaip gali atrodyti pasikliautinasis intervalas su galutiniu neigiamu rezultatu.
Toliau pateiktas pavyzdys, kaip gali atrodyti pasikliautinasis intervalas su negalutiniu rezultatu, kai reikia daugiau duomenų.
Taip, nuolat stebime naudotojų vietovės klastojimą ir imamės priemonių, kad sumažintume poveikį kūrėjams ir jų produktams.
Susijęs turinys
- Sužinokite daugiau apie kainų eksperimentus ir susijusias funkcijas.
- Išklausykite kainų eksperimentų kursą „Google Play“ akademijoje.