Spustenie A/B testov pre záznam v obchode

Nedávno sme v službe Play Console vykonali niekoľko zmien experimentov so záznamami v obchode, aby sme vývojárom poskytli väčšiu kontrolu a štatistickú robustnosť. Pridali sme tri nové možnosti:

  • konfiguráciu parametrov experimentu;
  • kalkulačku na odhad času a počtu vzoriek potrebných na dokončenie,
  • intervaly spoľahlivosti, ktoré teraz umožňujú nepretržité sledovanie. 

Táto stránka bola aktualizovaná, aby odrážala tieto zmeny. 

Funkcie opísané na tejto stránke sú zatiaľ k dispozícii iba pre niektorých vývojárov.

Ak chcete získať pomoc s optimalizáciou záznamu v obchode na Google Play, môžete uskutočniť experimenty a zistiť, ktorý lokalizovaný text a grafika aplikácie sú najefektívnejšie. Môžete spustiť experimenty so stránkami s hlavným aj vlastným záznamom v obchode.

V prípade zverejnených aplikácií môžete testovať rôzne varianty a porovnať ich so súčasnou verziou. Na základe údajov o inštaláciách zistíte, ktorej verzii sa darí najlepšie. Pred nastavením testu si pozritete osvedčené postupy na vykonanie efektívnych experimentov.

Poznámka: Globálne experimenty boli premenované na experimenty s predvolenou grafikou. Udržali si rovnaké funkcie, aké mali pred premenovaním.

Typy experimentov

Pre každú aplikáciu môžete spustiť jeden experiment s predvolenou grafikou alebo až päť lokalizovaných experimentov súbežne.

Predvolená grafika 

Ak použijete experiment s predvolenou grafikou, môžete experimentovať s grafickými prvkami v predvolenom jazyku záznamu v obchode svojej aplikácie. Môžete zahrnúť rôzne varianty ikony aplikácie, hlavnej grafiky, snímok obrazovky a propagačného videa.

  • Ak je záznam v obchode príslušnej aplikácie dostupný iba v jednom jazyku: experimenty s predvolenou grafikou sa budú zobrazovať všetkým používateľom.
  • Ak ste pridali akékoľvek lokalizované grafické podklady v konkrétnom jazyku: používatelia, ktorí majú vašu aplikáciu zobrazenú v danom jazyku, budú z experimentov s predvolenou grafikou aplikácie vylúčení. Ak je napríklad predvoleným jazykom aplikácie angličtina a aplikácia má hlavnú grafiku lokalizovanú do francúzštiny, používatelia zobrazujúci vašu aplikáciu vo francúzštine budú vylúčení z daného experimentu, a to aj vtedy, keď spustíte experiment týkajúci sa ikony.
Lokalizovaný (text a obrázky)

Ak použijete lokalizovaný experiment, môžete experimentovať s ikonou aplikácie, hlavnou grafikou, snímkami obrazovky, propagačnými videami a/alebo popismi aplikácie až v piatich jazykoch. Varianty experimentu sa zobrazia iba používateľom, ktorí záznam aplikácie v obchode zobrazujú vo vybratých jazykoch.

Ak je záznam v obchode príslušnej aplikácie dostupný iba v jednom jazyku, lokalizované experimenty sa budú zobrazovať používateľom, ktorí vašu aplikáciu zobrazujú v predvolenom jazyku.

1. krok: vytvorenie experimentu

Vytvorenie experimentu v službe Play Console:

  1. Otvorte Play Console a prejdite na stránku Experimenty so záznamami v obchode (Rast > Prezentácia v obchode > Experimenty so záznamami v obchode).
  2. Kliknite na Vytvoriť experiment.
  3. Zadajte podrobnosti experimentu:
    • Názov experimentu: zadajte názov experimentu (najviac 50 znakov).
    • Záznam v obchode: vyberte záznam v obchode, pre ktorý chcete spustiť tento experiment.
    • Typ experimentu: vyberte Experiment s predvolenou grafikou alebo Lokalizovaný experiment.
  4. Klepnite na Ďalej.
  5. Postupujte podľa pokynov v 2. kroku s názvom Nastavenie experimentu.

2. krok: nastavenie experimentu

Po vytvorení experimentu môžete vybrať záznam v obchode, varianty a atribúty, ktoré chcete testovať.

Ak chcete nastaviť experiment:

  1. Podľa pokynov na obrazovke vyberte záznam v obchode a pridajte ciele experimentu, napríklad cieľovú metriku, publikum experimentu, varianty a ďalšie nastavenia.
  2. Ak chcete spustiť experiment, prejdite do hornej časti stránky a kliknite na položku Spustiť experiment.
  3. Ak chcete nastavenie experimentu dokončiť neskôr, kliknite na Uložiť.
Zobrazovanie opisov polí, príkladov a tipov

Pri nastavovaní experimentu musíte poskytnúť informácie o zázname v obchode uvedené nižšie.

Pole Popis Príklady a tipy
Názov experimentu

Názov experimentu je viditeľný iba v službe Play Console. Pomáha identifikovať experiment, ale používateľom sa nezobrazuje.

  • Experiment so svetlou ikonou
  • Logo hlavnej grafiky
  • Krátky opis s novým sloganom
Záznam v obchode Záznam v obchode (hlavný alebo vlastný), ktorý chcete testovať

Po spustení experimentu sa názov vášho vlastného záznamu v obchode zobrazí spolu s názvom, ktorý mal na začiatku experimentu. Ak po spustení experimentu názov vlastného záznamu v obchode zmeníte, nezmení sa v experimente.

Ak chcete predísť zmätkom počas experimentov, odporúčame odstrániť nepoužívané vlastné záznamy v obchode a potom v prípade potreby vytvoriť nové.


Pri nastavovaní experimentu musíte poskytnúť informácie o cieľoch experimentu uvedené nižšie. Tieto nastavenia ovplyvnia presnosť vášho experimentu a počet inštalácií potrebných na dosiahnutie výsledku.

Pole Popis Príklady a tipy
Cieľová metrika Metrika, pomocou ktorej sa určí výsledok experimentu.

Máte dve možnosti: 

  • Udržaní používatelia, ktorí si aplikáciu nainštalovali prvýkrát (odporúčané): počet používateľov, ktorí si aplikáciu nainštalovali prvýkrát a ponechali ju nainštalovanú aspoň jeden deň.
  • Používatelia, ktorí si aplikáciu nainštalovali prvýkrát: počet používateľov, ktorí si aplikáciu nainštalovali prvýkrát, bez ohľadu na to, či si ju ponechali.
Varianty Počet experimentálnych variantov na testovanie v porovnaní s aktuálnym záznamom v obchode. Testovanie jedného variantu znamená, že dokončenie experimentu bude trvať kratšie.

Ak chcete pridať novú verziu experimentu, vyberte inú možnosť v rozbaľovacej ponuke Varianty.

Môžete pridať až tri varianty experimentu (aktuálna verzia sa nezapočítava).

Publikum experimentu

Percento návštevníkov záznamu v obchode, ktorým sa namiesto aktuálneho záznamu v obchode zobrazí experimentálny variant. 

Títo návštevníci budú rovnomerne rozdelení medzi experimentálne varianty.

Ak zadáte hodnotu 30 %, zostávajúcim 70 % návštevníkov vašej stránky so záznamom v obchode sa zobrazí súčasná verzia stránky.

Ak napríklad nastavíte hodnotu 30 % a máte dva varianty experimentu, každý variant sa zobrazí 15 % používateľov.

Počas experimentu budú jednotliví používatelia vidieť iba jeden variant alebo aktuálnu verziu vašej stránky.

Minimálny zistiteľný účinok Minimálny rozdiel medzi variantmi a kontrolou požadovaný na deklarovanie, ktoré má vyššiu výkonnosť. Ak je rozdiel nižší ako táto hodnota, váš experiment sa bude považovať za nerozhodný.  
Úroveň spoľahlivosti Ako často bude interval spoľahlivosti poskytnutý experimentom zahŕňať výkonnosť záznamu v obchode.

Zvýšením úrovne spoľahlivosti sa zníži pravdepodobnosť falošne pozitívneho výsledku.

Poznámka: Výber úrovne spoľahlivosti experimentu 90 % znamená, že jeden z desiatich experimentov môže nahlásiť falošne pozitívne výsledky.

Atribúty

Vyberte typ položky, ktorý chcete testovať v porovnaní s aktuálnym záznamom.

Najefektívnejšie sú experimenty, v ktorých naraz testujete iba jeden atribút.

Krátky a úplný opis môžete testovať iba v lokalizovaných experimentoch.

Ak testujete grafické podklady, dodržiavajte požiadavky na veľkosť a typ súboru.


Ak pri zadávaní informácií o cieľoch experimentu kliknete na položku Úprava odhadov, môžete upraviť odhadované denné hodnoty uvedené nižšie. Tieto hodnoty vám pomôžu vypočítať, ako dlho bude experiment trvať. Môžu sa líšiť od pozorovanej výkonnosti.

Pole Popis Príklady a tipy
Denné návštevy nových používateľov Odhadovaný počet návštevníkov záznamu v obchode, ktorí si vašu aplikáciu ešte nikdy predtým nenainštalovali.  
Konverzný pomer Odhadované percento návštevníkov, ktorí sa konvertujú na vašu cieľovú metriku.

Ak sú vašou cieľovou metrikou napríklad používatelia, ktorí si aplikáciu nainštalovali prvýkrát, konverzný pomer bude odhadované percento návštevníkov s konverziou na používateľov, ktorí si aplikáciu nainštalovali prvýkrát.

Denný počet udržaných používateľov, ktorí si aplikáciu nainštalovali prvýkrát

Odhadovaný počet používateľov, ktorí si nainštalujú vašu aplikáciu prvýkrát a ponechajú ju nainštalovanú aspoň jeden deň.

Viac sa dozviete v sekcii Zobrazenie opisov štatistík, metrík a príkladov.
Denný počet používateľov, ktorí si aplikáciu nainštalovali prvýkrát

Odhadovaný počet používateľov, ktorí navštívia váš záznam v obchode a prvýkrát si nainštalujú aplikáciu.

Viac sa dozviete v sekcii Zobrazenie opisov štatistík, metrík a príkladov.

3. krok: kontrola a použitie výsledkov

Ak chcete skontrolovať a použiť výsledky:

  1. Otvorte Play Console a prejdite na stránku Experimenty so záznamami v obchode (Rast > Prezentácia v obchode > Experimenty so záznamami v obchode).
  2. V riadku tabuľky experimentu, ktorý chcete skontrolovať, vyberte šípku doprava. Viac o tom, ako sa zobrazujú podrobnosti, sa dozviete nižšie v tabuľkách s experimentmi so záznamami v obchode.
  3. V sekcii Výsledky si pozrite súhrn výsledkov experimentu. Výsledky sú založené na vašej cieľovej metrike.

    Z výsledkov sa dozviete, ktorá z možností dosahuje najlepšiu výkonnosť alebo lepšiu výkonnosť než aktuálny záznam v obchode. Zobrazí sa aj vysvetlenie tohto výsledku na základe jeho intervalu spoľahlivosti, minimálneho zistiteľného účinku a odporúčanej akcie (ak je k dispozícii). Ak sa nezhromaždil dostatok údajov, aby bolo možné poskytnúť výsledok, môže sa zobraziť výsledok Vyžadujú sa ďalšie údaje.
     
  4. Vaša ďalšia akcia závisí od výsledkov experimentu: 
    • Ak určitý variant dosiahol dobrú výkonnosť, môže sa zobraziť odporúčanie použiť ho.
    • Ak sa zobrazí výsledok „Ponechajte experiment spustený, aby ste zhromaždili viac údajov“, vráťte sa sem neskôr.
    • Ak mali viaceré varianty lepšiu výkonnosť než váš záznam v obchode alebo bol výsledok Remíza, skontrolujte výsledky a rozhodnite sa, ktorý variant chcete použiť. 
    • Ak váš aktuálny záznam v obchode dosiahol najlepší výsledok, mali by ste kliknúť na Ponechať aktuálny záznam.
Tabuľky s experimentmi so záznamami v obchode

Po vytvorení experimentov sa na stránke Experimenty so záznamami v Obchode zobrazia nasledujúce podrobnosti. Podrobnosti experimentu sú usporiadané do štyroch tabuliek uvedených nižšie. Ak sa chcete dozvedieť viac, vyberte šípku doprava v riadku tabuľky experimentu, ktorý chcete zobraziť.

Koncepty

  • Názov experimentu: názov vášho experimentu
  • Záznam v obchode: záznam v obchode, v ktorom je spustený experiment
  • Typ experimentu: s predvolenou grafikou alebo lokalizovaný
  • Podrobnosti: počet variantov zobrazovaných určitému percentu cieľových používateľov

Prebieha

  • Názov experimentu: názov vášho experimentu
  • Záznam v obchode: záznam v obchode, v ktorom je spustený experiment
  • Typ experimentu: s predvolenou grafikou alebo lokalizovaný
  • Dátum spustenia: kedy sa experiment začal
  • Podrobnosti: počet zobrazovaných variantov a percento používateľov

Dokončené

  • Názov experimentu: názov vášho experimentu
  • Záznam v obchode: záznam v obchode, v ktorom je spustený experiment
  • Typ experimentu: s predvolenou grafikou alebo lokalizovaný
  • Dátum spustenia: kedy sa experiment začal
  • Podrobnosti: počet zobrazovaných variantov a percento používateľov
  • Výsledok: výsledok vášho experimentu

Minulé experimenty

  • Názov experimentu: názov vášho experimentu
  • Záznam v obchode: záznam v obchode, v ktorom je spustený experiment
  • Typ experimentu: s predvolenou grafikou alebo lokalizovaný
  • Dátum spustenia: kedy sa experiment začal
  • Dátum ukončenia: kedy sa experiment skončil
  • Stav: či bol experiment použitý alebo nie
Zobrazenie opisov štatistík, metrík a príkladov

Po výbere experimentu môžete zobraziť metriky používateľov a inštalácií, ktoré predstavujú súhrn výkonnosti jednotlivých variantov.

Metriky používateľov

Metrika Definícia
Používatelia, ktorí si aplikáciu nainštalovali prvýkrát

Jedineční používatelia, ktorí si počas experimentu nainštalovali aplikáciu prvýkrát. Údaje sú prispôsobené podielu publika.

Udržaní používatelia (1 deň)

Jedineční používatelia, ktorí si počas experimentu prvýkrát nainštalovali aplikáciu a ponechali si ju aspoň jeden deň po inštalácii. Údaje sú prispôsobené podielu publika.

Udržané predbežné registrácie – k dispozícii iba pre vybraných partnerov služby Play Počet používateľov, ktorí sa predbežne zaregistrovali a zostali predbežne zaregistrovaní aspoň jeden deň

Výsledky

Metriky znázorňujúce výsledky experimentu si môžete zobraziť dvoma rôznymi spôsobmi:

  • Aktuálne údaje: počet jedinečných používateľov
  • Pomerné údaje: počet jedinečných používateľov rozdelený podľa podielu publika

Ak si chcete prezrieť absolútne údaje o inštaláciách, použite aktuálne údaje. Ak si chcete prezrieť údaje prispôsobené rôznym podielom publika (ak napríklad 90 % vášho publika videlo jednu verziu a zvyšných 10 % inú), použite pomerné údaje.

Položka Definícia a príklady
Výkonnosť

Odhadovaná zmena vo výkonnosti inštalácie v porovnaní s aktuálnou verziou. Výkonnosť sa zobrazí až vtedy, keď experiment získa dostatok údajov. Vo všeobecnosti platí, že experiment má dlhší priebeh aj dlhšie zhromažďuje údaje, takže rozsah výkonnosti variantu sa postupne zúži a spresní.

Príklad: Ak sa výkonnosť jedného z vašich variantov nachádzala v rozsahu od +5 % do +15 %, zmena sa nachádza niekde medzi týmito hodnotami. Najpravdepodobnejšou zmenou výkonnosti je priemer medzi týmito dvoma hodnotami, teda približne +10 %.

Inštalácie (pomerne)
  • Počet inštalácií získaných počas experimentu rozdelený podľa podielu publika.
  • Uvádzané pre experimenty spustené do 24. januára 2019.
  • Ak napríklad máte spustený experiment s dvoma variantmi a s podielmi publika 90 % a 10 %, pričom počet inštalácií pre varianty je A = 900 a B = 200, pomerné inštalácie zobrazia hodnoty A = 1000 (900/0,9) a B = 2000 (200/0,1).
Inštalácie (aktuálne)
  • Počet inštalácií, ktoré sú nainštalované dodnes.
  • Uvádzané pre experimenty spustené do 24. januára 2019.

Metriky inštalácií (podpora bola ukončená)

Nasledujúce metriky sa používajú pre experimenty spustené do 24. januára 2019. Experimenty, ktoré sa začali do tohto dátumu, stále obsahujú tieto štatistiky. Nové experimenty však používajú iba používateľské metriky Používatelia, ktorí si aplikáciu nainštalovali prvýkrát a Udržaní používatelia (1 deň).

Metrika Definícia a príklady
Počet inštalácií v aktívnych zariadeniach
  • Počet aktívnych zariadení, v ktorých sú v súčasnosti nainštalované jednotlivé varianty aplikácie (rozšírený tak, aby zahŕňal odlišné úrovne publika).
Inštalácie podľa používateľa
  • Počet jedinečných používateľov, ktorí inštalovali jednotlivé varianty aplikácie za určitý deň (rozšírený tak, aby zahŕňal odlišné úrovne publika).
Odinštalovania podľa používateľa
  • Počet odinštalovaní jednotlivých variantov aplikácie za určitý deň (rozšírený tak, aby zahŕňal odlišné úrovne publika).

Experimenty používajúce metriky, ktorých podpora bola ukončená

Od septembra 2019 budú automaticky ukončené experimenty používajúce akékoľvek metriky s ukončenou podporou, ktoré sú uvedené vyššie. Zohľadnite to pri plánovaní a v experimentoch so záznamami v obchode použite namiesto toho najnovšie metriky. 

Výsledky ukončených experimentov si môžete zobraziť v sekcii Ukončené experimenty na stránke Experimenty so záznamami v obchode.

Registrácia upozornení na experiment

Ak chcete po dokončení experimentov dostávať upozornenia a e‑maily, nastavte predvoľby na stránke Upozornenia v službe Play Console. 

Viac sa o e‑mailových upozorneniach dozviete v sekcii Správa informácií o účte vývojára.

Pomohlo vám to?

Ako ju môžeme zlepšiť?

Potrebujete ďalšiu pomoc?

Vyskúšajte tieto ďalšie kroky:

false
Vyhľadávanie
Vymazať vyhľadávanie
Zavrieť vyhľadávanie
Hlavná ponuka
15152777435997804312
true
Vyhľadávanie v Centre pomoci
true
true
true
true
true
92637
false
false