A / B versijų testavimas parduotuvės įraše

Norėdami suteikti kūrėjams daugiau valdymo galimybių ir pagerinti statistinį patikimumą, neseniai atlikome kelis parduotuvės įrašų eksperimentų sistemoje „Play Console“ pakeitimus. Pridėjome tris naujas funkcijas:

• eksperimento parametrų konfigūraciją;
• skaičiuotuvą, kuriuo galima apskaičiuoti reikiamas imtis ir laiką iki užbaigimo; ir
• pasikliautinuosius intervalus, kuriuos naudojant dabar galima nuolat stebėti. 

Šis puslapis buvo atnaujintas, kad atspindėtų šiuos pakeitimus. 

Šiame puslapyje aprašytos funkcijos dar nėra pasiekiamos visiems kūrėjams.

Norėdami optimizuoti parduotuvės įrašą sistemoje „Google Play“, galite vykdyti eksperimentus ir rasti efektyviausius programos grafinius elementus bei lokalizuotą tekstą. Galite vykdyti pagrindinių ir tinkintų parduotuvės įrašų puslapių eksperimentus.

Jei programa paskelbta, galite išbandyti programos variantus ir palyginti su dabartinės versijos programa, kad sužinotumėte, kurio varianto našumas geriausias, atsižvelgiant į diegimų duomenis. Prieš nustatydami testavimą, peržiūrėkite geriausios efektyvių eksperimentų vykdymo praktikos pavyzdžius.

Pastaba: visuotiniai eksperimentai buvo pervardyti į numatytosios grafikos eksperimentus. Jie palaiko tas pačias funkcijas kaip ir prieš pervardijant.

Eksperimentų tipai

Kiekvienoje programoje vienu metu galite vykdyti vieną numatytosios grafikos eksperimentą arba iki penkių lokalizuotų eksperimentų.

Numatytosios grafikos 

Vykdydami numatytosios grafikos eksperimentą galite eksperimentuoti su grafiniais elementais programos numatytąja parduotuvės įrašo kalba. Galite įtraukti programos piktogramos, funkcijos grafikos, ekrano kopijų ir reklaminių vaizdo įrašų variantus.

• Jei programos parduotuvės įrašas pasiekiamas tik viena kalba: numatytosios grafikos eksperimentai bus rodomi visiems naudotojams.
• Jei pridėjote bet kokių lokalizuotų grafinių išteklių tam tikra kalba: naudotojai, peržiūrintys jūsų programą ta kalba, išskiriami iš programos numatytosios grafikos eksperimentų. Pavyzdžiui, jei programos numatytoji kalba yra anglų ir joje yra lokalizuota funkcijos grafika prancūzų kalba, šia kalba programą peržiūrintys naudotojai bus išskirti iš eksperimento (net jei vykdote piktogramos eksperimentą).

Lokalizuotas (skirtas tekstui ir grafiniams elementams)

Naudodami lokalizuotą eksperimentą, galite eksperimentuoti su programos piktograma, funkcijos grafika, ekrano kopijomis, reklaminiais vaizdo įrašais ir (arba) programos aprašais iki penkių kalbų. Eksperimento variantai bus rodomi tik naudotojams, kurie programos parduotuvės įrašą peržiūri jūsų pasirinktomis kalbomis.

Jei programos parduotuvės įrašas pasiekiamas tik viena kalba, lokalizuoti eksperimentai bus rodomi tik naudotojams, kurie programą peržiūri numatytąja kalba.

Pirmas veiksmas: sukurkite eksperimentą

Kad sukurtumėte eksperimentą sistemoje „Play Console“, atlikite toliau nurodytus veiksmus.

1. Atidarykite „Play Console“ ir eikite į puslapį Parduotuvės įrašų eksperimentai (Plėtra > Pateikimas parduotuvėje > Parduotuvės įrašų eksperimentai).
2. Spustelėkite Kurti eksperimentą.
3. Įveskite išsamią eksperimento informaciją.
   • Eksperimento pavadinimas: įveskite eksperimento pavadinimą (50 ar mažiau simbolių).
   • Parduotuvės įrašas: pasirinkite parduotuvės įrašą, kuriame norite vykdyti šį eksperimentą.
   • Eksperimento tipas: pasirinkite Numatytasis grafikos eksperimentas arba Lokalizuotas eksperimentas.
4. Spustelėkite Kitas.
5. Vadovaukitės skiltyje „Antras veiksmas: nustatykite eksperimentą“ pateiktomis instrukcijomis.

Antras veiksmas: nustatykite eksperimentą

Sukūrę eksperimentą galite pasirinkti parduotuvės įrašą, variantus ir atributus, kuriuos norite testuoti.

Kad nustatytumėte eksperimentą, atlikite toliau nurodytus veiksmus.

1. Vykdydami ekrane pateiktas instrukcijas pasirinkite parduotuvės įrašą ir pridėkite eksperimento tikslų, pvz., tikslinę metriką, eksperimento auditoriją, variantų ir kitų nustatymų.
   • Jei reikia daugiau informacijos ir patarimų, peržiūrėkite toliau pateiktą lentelę.
2. Jei norite pradėti eksperimentą, eikite į puslapio viršų ir spustelėkite Vykdyti eksperimentą.
3. Jei norite eksperimento sąranką užbaigti vėliau, spustelėkite Išsaugoti.

Žr. laukų aprašus, pavyzdžius ir patarimus

Nustatydami eksperimentą turite pateikti toliau nurodytą parduotuvės įrašo informaciją.

Laukas	Aprašas	Pavyzdžiai ir patarimai
Eksperimento pavadinimas	Eksperimento pavadinimas matomas tik sistemoje „Play Console“, kad jį būtų galima identifikuoti, ir jis nėra rodomas naudotojams.	„Šviesios piktogramos eksperimentas“ „Logotipo funkcijos grafika“ „Trumpas aprašas su nauju šūkiu“
Parduotuvės įrašas	Norimas testuoti parduotuvės įrašas (pagrindinis arba tinkintas).	Kai pradedate eksperimentą, tinkinto parduotuvės įrašo pavadinimas rodomas kartu su pavadinimu, kurį įrašas turėjo prieš pradedant eksperimentą. Jei pradėję eksperimentą atnaujinsite tinkinto parduotuvės įrašo pavadinimą, eksperimente rodomas pavadinimas nebus pakeistas. Kad vykdant eksperimentus būtų išvengta painiavos, patartina ištrinti nenaudojamus tinkintus parduotuvės įrašus ir prireikus sukurti naujų.

Nustatydami eksperimentą, turite pateikti toliau nurodytą informaciją apie eksperimento tikslus. Šie nustatymai paveiks eksperimento tikslumą ir tai, kiek įdiegusių žmonių reikės rezultatui pasiekti.

Laukas	Aprašas	Pavyzdžiai ir patarimai
Tikslinė metrika	Metrika, kuri bus naudojama eksperimento rezultatui nustatyti.	Teikiamos dvi parinktys.  Išlaikyti pirmą kartą įdiegę naudotojai (rekomenduojama): naudotojų, kurie įdiegė programą pirmą kartą ir jos nepašalino bent vieną dieną, skaičius Pirmą kartą įdiegę naudotojai: naudotojų, įdiegusių programą pirmą kartą, neatsižvelgiant į tai, ar ji nebuvo pašalinta, skaičius
Variantai	Eksperimento variantų, kuriuos reikia išbandyti, naudojant dabartinį parduotuvės įrašą, skaičius. Jei išbandysite vieną variantą, sparčiau užbaigsite eksperimentą.	Jei norite prie eksperimento pridėti naują versiją, išskleidžiamajame variantų meniu pasirinkite kitą parinktį. Be dabartinės versijos, viename eksperimente galite pridėti iki trijų variantų.
Eksperimento auditorija	Parduotuvės įrašo lankytojų, kuriems bus rodomas eksperimento variantas vietoje dabartinio įrašo, procentas.  Šie lankytojai bus padalyti po lygiai visiems eksperimento variantams.	Jei kaip auditoriją įvesite 30 %, kiti 70 % parduotuvės įrašo lankytojų matys dabartinės versijos puslapį. Pavyzdžiui, jei nustatėte 30 % auditoriją ir du eksperimento variantus, kiekvienas variantas rodomas 15 % naudotojų. Vykdant eksperimentą kiekvienam naudotojui bus rodomas tik atskiras variantas arba dabartinė puslapio versija.
Mažiausias aptinkamas poveikis	Mažiausias variantų ir kontrolinės grupės skirtumas, reikalingas, kad būtų galima nustatyti, kas veikia geriau. Jei skirtumas mažesnis, nei nurodytas, eksperimentas bus laikomas nerezultatyviu.
Patikimumo lygis	Kaip dažnai eksperimento pateiktas pasikliautinasis intervalas apims tikrąjį parduotuvės įrašo našumą.	Padidinus patikimumo lygį sumažės klaidingų teigiamų rezultatų tikimybė. Pastaba: pasirinkus 90 proc. eksperimento patikimumo lygį vieno iš dešimties eksperimentų ataskaita gali būti klaidingai teigiama.
Atributai	Pasirinkite elemento tipą, kurį norite išbandyti lygindami su dabartiniu įrašu.	Kad eksperimentai būtų kuo efektyvesni, vienu metu išbandykite vieną atributą. Trumpą ir visą aprašus galite išbandyti tik lokalizuotuose eksperimentuose. Jei išbandote grafinius išteklius, būtinai atsižvelkite į dydžio ir failo tipo reikalavimus.

Jei įvesdami eksperimento tikslų informaciją spustelėsite Redaguoti įvertinimus, galėsite redaguoti toliau pateiktas apskaičiuotas dienos vertes. Šios vertės padės apskaičiuoti, kiek laiko truks eksperimentas. Jos gali skirtis nuo stebimo našumo.

Laukas	Aprašas	Pavyzdžiai ir patarimai
Kasdieniai naujų naudotojų apsilankymai	Numatomas parduotuvės įrašo lankytojų, kurie prieš tai neįsidiegė jūsų programos, skaičius.
Konversijų rodiklis	Apskaičiuota lankytojų, kuriems įvykdžius konversiją jie bus priskirti tikslinei metrikai, dalis procentais.	Pvz., jei tikslinė metrika yra pirmą kartą įdiegę naudotojai, konversijų rodiklis bus apskaičiuotas lankytojų, kurie atlikę konversiją bus priskirti pirmą kartą įdiegusiems naudotojams, procentas.
Išlaikyti pirmą kartą įdiegę naudotojai per dieną	Numatomas naudotojų, kurie įdiegs jūsų programą pirmą kartą ir pasiliks ją įdiegtą ilgiau nei vieną dieną, skaičius.	Jei norite sužinoti daugiau, žr. skiltį „Statistikos, metrikos aprašų ir pavyzdžių peržiūra“.
Pirmą kartą įdiegę naudotojai per dieną	Numatomas naudotojų, kurie apsilankys jūsų parduotuvės įraše ir įdiegs pirmą kartą, skaičius.	Jei norite sužinoti daugiau, žr. skiltį „Statistikos, metrikos aprašų ir pavyzdžių peržiūra“.

Trečias veiksmas: peržiūrėkite ir pritaikykite rezultatus

Jei norite peržiūrėti ir pritaikyti rezultatus, atlikite toliau nurodytus veiksmus.

1. Atidarykite „Play Console“ ir eikite į puslapį Parduotuvės įrašų eksperimentai (Plėtra > Pateikimas parduotuvėje > Parduotuvės įrašų eksperimentai).
2. Norimo peržiūrėti eksperimento lentelės eilutėje pasirinkite rodyklę dešinėn. Jei norite sužinoti daugiau, kaip pateikiama išsami informacija, peržiūrėkite toliau pateiktas parduotuvės įrašų eksperimentų lenteles.
3. Skiltyje „Rezultatai“ peržiūrėkite eksperimento rezultatų suvestinę. Rezultatai pagrįsti tiksline metrika.
   
   Rezultatai nurodys, kurios parinktys yra našiausios arba našesnės nei dabartinis parduotuvės įrašas. Taip pat matysite šio rezultato paaiškinimą, pateiktą atsižvelgiant į jo pasikliautinąjį intervalą ir minimalų aptinkamą poveikį, bei rekomenduojamą veiksmą (jei taikoma). Rezultatą „Reikia daugiau duomenų“ galite gauti, jei nebuvo surinkta pakankamai duomenų, kad būtų pateiktas rezultatas.
    
4. Tolesnis veiksmas priklauso nuo eksperimento rezultatų. 
   • Jei varianto našumas buvo geras, galite matyti rekomendaciją pritaikyti tą variantą.
   • Jei rezultatas yra „Vykdykite eksperimentą toliau, kad surinktumėte daugiau duomenų“, grįžkite vėliau.
   • Jei tam tikrų variantų našumas buvo didesnis nei parduotuvės įrašo arba jei rezultatas buvo „Lygiosios“, peržiūrėkite rezultatus ir nuspręskite, kurį variantą norite taikyti. 
   • Jei dabartinis parduotuvės įrašas yra našiausias, spustelėkite Palikti dabartinį įrašą.

Parduotuvės įrašų eksperimentų lentelės

Nustačius eksperimentus Parduotuvės įrašų eksperimentų puslapyje bus pateikta toliau nurodyta išsami informacija. Išsami eksperimento informacija išdėstyta keturiose lentelėse, kaip nurodyta toliau. Jei norite gauti daugiau išsamios informacijos, pasirinkite rodyklę dešinėn eksperimento, kurį norite peržiūrėti, lentelės eilutėje.

Juodraščiai

• Eksperimento pavadinimas: jūsų eksperimento pavadinimas
• Parduotuvės įrašas: parduotuvės įrašas, kuriame vykdomas eksperimentas
• Eksperimento tipas: numatytoji arba lokalizuota grafika
• Išsami informacija: variantų, teikiamų tam tikrai procentinei tikslinių naudotojų daliai, skaičius

Vyksta

• Eksperimento pavadinimas: jūsų eksperimento pavadinimas
• Parduotuvės įrašas: parduotuvės įrašas, kuriame vykdomas eksperimentas
• Eksperimento tipas: numatytoji arba lokalizuota grafika
• Pradžios data:: eksperimento pradžios data
• Išsami informacija: teikiamų variantų skaičius ir procentinė naudotojų dalis

Baigta

• Eksperimento pavadinimas: jūsų eksperimento pavadinimas
• Parduotuvės įrašas: parduotuvės įrašas, kuriame vykdomas eksperimentas
• Eksperimento tipas: numatytoji arba lokalizuota grafika
• Pradžios data:: eksperimento pradžios data
• Išsami informacija: teikiamų variantų skaičius ir procentinė naudotojų dalis
• Rezultatas: eksperimento rezultatas

Ankstesni eksperimentai

• Eksperimento pavadinimas: jūsų eksperimento pavadinimas
• Parduotuvės įrašas: parduotuvės įrašas, kuriame vykdomas eksperimentas
• Eksperimento tipas: numatytoji arba lokalizuota grafika
• Pradžios data:: eksperimento pradžios data
• Pabaigos data: eksperimento pabaigos data
• Būsena: pritaikyta arba nepritaikyta

Statistikos, metrikos aprašų ir pavyzdžių peržiūra

Pasirinkę eksperimentą galite peržiūrėti naudotojų ir įdiegimų metriką, apibendrinančią kiekvieno varianto našumą.

Naudotojų metrika

Metrika	Apibrėžimas
Pirmą kartą įdiegę naudotojai	Unikalūs naudotojai, kurie įdiegė programą pirmą kartą vykdant eksperimentą. Duomenys padidinti, kad būtų atsižvelgta į auditorijos dalį.
Įdiegę ir nepašalinę asmenys (viena diena)	Unikalūs naudotojai, kurie įdiegė programą pirmą kartą ir ją pasiliko bent vieną dieną nuo įdiegimo vykdant eksperimentą. Duomenys padidinti, kad būtų atsižvelgta į auditorijos dalį.
Išlaikytos išankstinės registracijos – pasiekiama tik tam tikriems „Play“ partneriams	Iš anksto užsiregistravusių ir likusių bent vieną dieną iš anksto užsiregistravusių naudotojų skaičius.

Rezultatai

Eksperimento rezultatus nurodančią metriką galite peržiūrėti dviem skirtingais būdais.

• Dabartinis: unikalių naudotojų skaičius
• Padidintas: unikalių naudotojų skaičius, padalytas iš auditorijos dalies

Jei norite peržiūrėti absoliučius įdiegusių žmonių duomenis, naudokite dabartinius duomenis. Jei norite peržiūrėti duomenis, kurie buvo padidinti, kad būtų atsižvelgta į skirtingas auditorijos dalis (pvz., jei 90 proc. auditorijos buvo rodoma viena versija, o 10 proc. – kita), naudokite padidintus duomenis.

Elementas	Apibrėžtis ir pavyzdžiai
Našumas	Numatomas diegimo našumo pokytis, palyginti su dabartine versija. Našumas rodomas, kai eksperimente sulaukiama pakankamai duomenų. Apskritai, jei eksperimentas vykdomas ilgiau ir leidžiama ilgiau rinkti duomenis, nustatomas siauresnis ir tikslesnis varianto našumo diapazonas. Pavyzdys: jei vieno iš variantų našumo diapazonas yra nuo + 5 proc. iki + 15 proc., tada pokytis patenka kažkur tarp šių verčių ir tikėtinas našumo pokytis yra abiejų skaičių vidurkis – apie + 10 proc.
Diegimai (padidinta)	Diegimų skaičius vykdant eksperimentą, padalytas iš auditorijos dalies. Įtraukiama į eksperimentus, pradėtus iki 2019 m. sausio 24 d. Pavyzdžiui, jei vykdėte eksperimentą su dviem variantais, kuriuose naudotos 90 proc. / 10 proc. auditorijos dalys, o kiekvieno varianto diegimų skaičius buvo toks: A = 900 ir B = 200, diegimų mastelis būtų toks: A = 1 000 (900 / 0,9) ir B = 2 000 (200 / 0,1).
Diegimai (dabar)	Skaičius, kiek programų vis dar įdiegta šiandien. Įtraukiama į eksperimentus, pradėtus iki 2019 m. sausio 24 d.

Įdiegimo metrika (nebenaudojama)

Toliau nurodyta metrika buvo naudojama eksperimentuose, pradėtuose iki 2019 m. sausio 24 d. Eksperimentai, kurie buvo pradėti iki šios datos, vis dar apima šią statistiką, bet naujuose eksperimentuose naudojama tik pirmą kartą įdiegusių naudotojų ir įdiegusių ir nepašalinusių asmenų (vienos dienos) naudotojų metrika

Metrika	Apibrėžtis ir pavyzdžiai
Diegimai aktyviuose įrenginiuose	Aktyvių įrenginių, kuriuose šiuo metu įdiegtas kiekvienas programos variantas, skaičius, padidintas siekiant kompensuoti dėl skirtingų auditorijos lygių.
Įdiegimai pagal naudotoją	Unikalių naudotojų, kurie nurodytą dieną įdiegė kiekvieną programos variantą, skaičius, padidintas siekiant kompensuoti dėl skirtingų auditorijos lygių.
Pašalinimai pagal naudotoją	Kiekvieno programos varianto pašalinimų skaičius nurodytą dieną, padidintas siekiant kompensuoti dėl skirtingų auditorijos lygių.

Eksperimentai, atliekami naudojant nebenaudojamas metrikas

Nuo 2019 m. rugsėjo mėn. eksperimentai, vykdomi naudojant prieš tai išvardytų nebenaudojamų tipų metriką, bus automatiškai nutraukti. Turėkite tai omenyje planuodami eksperimentus ir verčiau naudokite naujausių tipų metriką, skirtą parduotuvės įrašų eksperimentams. 

Nutrauktų eksperimentų rezultatus galite peržiūrėti skiltyje Nutraukti eksperimentai, esančioje eksperimentų puslapyje Parduotuvės įrašas.

Prisiregistravimas gauti pranešimus apie eksperimentus

Jei norite gauti pranešimus ir el. laiškus, kai eksperimentai bus baigti, būtinai nustatykite nuostatas „Play Console“ puslapyje Pranešimai. 

Jei norite daugiau sužinoti apie el. pašto pranešimus, eikite į skiltį apie kūrėjo paskyros informacijos tvarkymą.