Spouštění testů A/B v záznamu v obchodu

Abychom vývojářům poskytli větší kontrolu a statistickou robustnost, nedávno jsme ve službě Play Console provedli několik změn experimentů se záznamy v obchodu. Přidali jsme tři nové funkce:

  • konfiguraci parametrů experimentů,
  • kalkulačku pro odhad potřebného počtu vzorků a doby do dokončení,
  • intervaly spolehlivosti, které umožňují průběžné sledování. 

Tato stránka byla aktualizována, aby odrážela tyto změny. 

Funkce popsané na této stránce zatím nejsou dostupné všem vývojářům.

Abychom vám pomohli optimalizovat záznam v obchodu Google Play, můžete spouštět experimenty s cílem najít grafiku a lokalizovaný text, které budou pro aplikaci nejefektivnější. Můžete spustit experimenty pro hlavní i vlastní stránky záznamu v obchodu.

U publikovaných aplikací lze porovnat varianty aplikace s aktuální verzí, abyste na základě údajů o instalacích zjistili, která verze funguje nejlépe. Před nastavení testu si přečtěte doporučené postupy pro efektivní experimenty.

Poznámka: Globální experimenty byly přejmenovány na výchozí grafické experimenty. Mají stejnou funkci jako předtím.

Typy experimentů

U každé aplikace lze v jednu chvíli spustit jeden globální experiment nebo až pět lokalizovaných experimentů současně.

Výchozí grafika

Pomocí výchozího grafického experimentu můžete experimentovat s grafikou ve výchozím jazyce záznamu aplikace v obchodě. Můžete zahrnout různé varianty ikony, hlavní grafiky, snímků obrazovky a propagačního videa aplikace.

  • Je-li záznam aplikace v obchodu dostupný jen v jednom jazyce: Výchozí grafické experimenty se budou zobrazovat všem uživatelům.
  • Pokud jste přidali grafické podklady v konkrétním jazyce: Uživatelé, kteří budou aplikaci používat v příslušném jazyce, budou z výchozího grafického experimentu vyloučeni. Například pokud je výchozím jazykem aplikace angličtina a má hlavní grafiku lokalizovanou do češtiny, uživatelé, kteří si aplikaci prohlížejí v češtině, budou z experimentu vyloučeni i přesto, že provádíte experiment ohledně ikony.
Lokalizovaný (text a grafika)

Pomocí lokalizovaného experimentu můžete experimentovat s ikonou aplikace, hlavní grafikou, snímky obrazovky, propagačním videem a popisy aplikace v až pěti jazycích. Varianty experimentů se zobrazí pouze uživatelům, kteří si záznam aplikace v obchodu prohlížejí ve zvolených jazycích.

Je-li záznam aplikace v obchodě dostupný jen v jednom jazyce, lokalizované experimenty se budou zobrazovat pouze uživatelům, kteří si aplikaci prohlížejí v jejím výchozím jazyce.

Krok 1: Vytvoření experimentu

Postup vytvoření experimentu v Play Console:

  1. Otevřete Play Console a přejděte na stránku Experimenty se záznamy v obchodu (Růst > Přítomnost v Obchodě > Experimenty se záznamy v obchodu).
  2. Klikněte na Vytvořit experiment.
  3. Zadejte podrobnosti o experimentu:
    • Název experimentu: Zadejte název experimentu (maximálně 50 znaků).
    • Záznam v obchodu: Vyberte záznam v obchodu, pro který chcete tento experiment spustit.
    • Typ experimentu: Vyberte Výchozí grafický experiment nebo Lokalizovaný experiment.
  4. Klikněte na Další.
  5. Pokračujte k pokynům v sekci Krok 2: Nastavení experimentu.

Krok 2: Nastavení experimentu

Jakmile vytvoříte experiment, můžete vybrat záznam v obchodu, varianty a atributy, které chcete testovat.

Postup nastavení experimentu:

  1. Podle pokynů na obrazovce vyberte záznam v obchodu a přidejte cíle experimentu, například cílovou metriku, publikum experimentu, varianty a další nastavení.
  2. Pokud chcete experiment zahájit, v horní části stránky klikněte na Spustit experiment.
  3. Pokud chcete nastavování experimentu dokončit později, klikněte na Uložit.
Popisy polí, příklady a tipy

Při nastavování experimentu musíte uvést níže uvedené informace o záznamu v obchodu.

Pole Popis Příklady a tipy
Název experimentu

Název experimentu je viditelný pouze ve službě Play Console pro účely rozpoznání experimentu a uživatelům se nezobrazuje.

  • „Experiment světlá ikona“
  • „Hlavní grafika loga“
  • „Krátký popis s novým sloganem“
Záznam v obchodu Záznam v obchodu (hlavní nebo vlastní), který chcete otestovat.

Po spuštění experimentu se název vašeho záznamu v obchodu zobrazí s názvem, který měl na začátku experimentu. Pokud po zahájení experimentu aktualizujete název vlastního záznamu v obchodu, v experimentu se nezmění.

Chcete-li při spouštění experimentů předejít nejasnostem, doporučujeme smazat nepoužité vlastní záznamy v obchodu a v případě potřeby vytvořit nové.


Při nastavování experimentu je třeba zadat níže uvedené informace o cílech experimentu. Tato nastavení ovlivňují přesnost experimentu a počet instalací nutný k získání výsledku.

Pole Popis Příklady a tipy
Cílová metrika Metrika, která bude sloužit ke zjištění výsledku experimentu.

Máte dvě možnosti: 

  • Zachované první instalace (doporučeno): Počet uživatelů, kteří aplikaci nainstalovali poprvé a ponechali ji nainstalovanou alespoň 1 den
  • První instalace: Počet uživatelů, kteří aplikaci nainstalovali poprvé, bez ohledu na to, zda si ji ponechali
Varianty Počet experimentálních variant, které se mají otestovat vůči aktuálnímu zápisu v obchodě. Pokud budete testovat jen jednu variantu, bude experiment dokončen rychleji.

Pokud do experimentu chcete přidat novou verzi, vyberte z rozbalovací nabídky Varianty jinou možnost.

V jednom experimentu můžete zadat až tři varianty (aktuální verze se nezapočítává).

Publikum experimentu

Procento návštěvníků záznamu v obchodě, kterým se namísto aktuálního záznamu zobrazí experimentální varianta. 

Tito návštěvníci budou rovnoměrně rozděleni mezi experimentální varianty.

Pokud pro publikum zadáte hodnotu 30 %, zbývajícím 70 % návštěvníků stránky se záznamem v obchodu se zobrazí aktuální verze stránky.

Máte-li zadáno publikum 30 % a váš experiment má dvě varianty, každá varianta se zobrazí 15 % uživatelů.

Během experimentu uvidí jednotliví uživatelé buď jednu z variant, nebo aktuální verzi stránky.

Minimální zjistitelný účinek Minimální rozdíl mezi variantami a kontrolní verzí nutný k prohlášení, která z nich dosahuje lepších výsledků. V případě menšího rozdílu bude výsledek experimentu považován za nerozhodný.  
Hladina spolehlivosti Jak často bude interval spolehlivosti poskytovaný experimentem obsahovat skutečný výkon záznamu v obchodě.

Zvýšením úrovně spolehlivosti snížíte pravděpodobnost falešně pozitivních výsledků.

Poznámka: Pokud pro experiment zvolíte 90% úroveň spolehlivosti, znamená to, že jeden z deseti experimentů může nahlásit falešně pozitivní výsledek.

Atributy

Vyberte typ položky, který má být otestován v porovnání s aktuálním záznamem.

Pokud chcete dosáhnout co nejefektivnějšího experimentu, testujte v jednu chvíli pouze jeden atribut.

Krátký a úplný popis lze testovat pouze v experimentech typu Lokalizovaný.

Pokud testujete grafické podklady, zajistěte, aby splňovaly požadavky na velikost a typ souboru.


Pokud při zadávání údajů o cílech experimentu kliknete na Upravit odhady, můžete upravit níže uvedené odhadované denní hodnoty. Tyto hodnoty pomohou vypočítat, jak dlouho bude experiment trvat. Mohou se lišit od skutečného výkonu.

Pole Popis Příklady a tipy
Denní počet návštěv nových uživatelů Odhadovaný počet návštěvníků záznamu v obchodu, kteří vaši aplikaci dosud nenainstalovali  
Konverzní poměr Odhadované procento návštěvníků, u kterých dojde ke konverzi na vaši cílovou metriku.

Pokud je vaší cílovou metrikou například počet prvních instalací, bude konverzní poměr odhadované procento návštěvníků, kteří si aplikaci poprvé nainstalují.

Denní zachované první instalace

Odhadovaný počet uživatelů, kteří vaši aplikaci nainstalují poprvé a ponechají ji nainstalovanou déle než den.

Další informace najdete v článku Popisy statistik, metrik a příkladů.
Denní počet uživatelů, kteří si aplikaci nainstalovali poprvé

Odhadovaný počet uživatelů, kteří navštíví váš záznam v obchodu a poprvé aplikaci nainstalují.

Další informace najdete v článku Popisy statistik, metrik a příkladů.

Krok 3: Kontrola a použití výsledků

Kontrola a použití výsledků:

  1. Otevřete Play Console a přejděte na stránku Experimenty se záznamy v obchodu (Růst > Přítomnost v Obchodě > Experimenty se záznamy v obchodu).
  2. V řádku tabulky experimentu, který chcete zkontrolovat, vyberte šipku doprava. Další informace o zobrazení podrobností najdete níže v tabulkách experimentů se záznamy v obchodu.
  3. V sekci Výsledky si můžete prohlédnout souhrn výsledků experimentu. Výsledky vychází z cílové metriky.

    Z výsledků zjistíte, která z možností dosahuje nejlepšího výkonu nebo lepšího výkonu než váš současný záznam v obchodu. Také bude uvedeno vysvětlení výsledku na základě jeho intervalu spolehlivosti a minimálního zjistitelného efektu a doporučeného opatření (pokud je k dispozici). Pokud nebyl k dispozici dostatek dat k vrácení výsledku, může se zobrazit výsledek „Je potřeba více dat“.
     
  4. Další akce závisí na výsledcích experimentu: 
    • Pokud varianta dosáhla dobrého výkonu, může se zobrazit doporučení, že ji máte použít.
    • Pokud se zobrazí zpráva „Ponechte experiment spuštěný, aby bylo možné získat další data“, vraťte se později.
    • Pokud několik variant dosáhlo lepšího výkonu než záznam v obchodu nebo pokud byl výsledek nerozhodný, zkontrolujte výsledky a rozhodněte se, kterou variantu chcete použít. 
    • Pokud nejlépe fungoval váš aktuální záznam v obchodu, klikněte na Zachovat aktuální záznam.
Tabulky experimentů se záznamy v obchodu

Po nastavení experimentů se na stránce Experimenty se záznamy v obchodu objeví následující informace. Podrobnosti o experimentu jsou uspořádány do čtyř tabulek, jak je uvedeno níže. Pokud chcete získat další podrobnosti, vyberte šipku doprava na řádku tabulky experimentu, který chcete zobrazit.

Koncepty

  • Název experimentu: Název experimentu.
  • Záznam v obchodu: Záznam v obchodu, u kterého experiment běží.
  • Typ experimentu: Výchozí grafický experiment nebo lokalizovaný experiment.
  • Podrobnosti: Počet variant, které se zobrazují určitému procentu cílových uživatelů.

Probíhá

  • Název experimentu: Název experimentu.
  • Záznam v obchodu: Záznam v obchodu, u kterého experiment běží.
  • Typ experimentu: Výchozí grafický experiment nebo lokalizovaný experiment.
  • Datum zahájení: Kdy experiment začal.
  • Podrobnosti: Počet zobrazovaných variant a procento uživatelů.

Dokončeno

  • Název experimentu: Název experimentu.
  • Záznam v obchodu: Záznam v obchodu, u kterého experiment běží.
  • Typ experimentu: Výchozí grafický experiment nebo lokalizovaný experiment.
  • Datum zahájení: Kdy experiment začal.
  • Podrobnosti: Počet zobrazovaných variant a procento uživatelů.
  • Výsledek: Výsledek experimentu.

Minulé experimenty

  • Název experimentu: Název experimentu.
  • Záznam v obchodu: Záznam v obchodu, u kterého experiment běží.
  • Typ experimentu: Výchozí grafický experiment nebo lokalizovaný experiment.
  • Datum zahájení: Kdy experiment začal.
  • Datum ukončení: Kdy experiment skončil.
  • Stav: Použito nebo nepoužito.
Popisy statistik, metrik a příkladů

Po výběru experimentu můžete zobrazit metriky uživatelů a instalací, které shrnují výkon jednotlivých variant.

Uživatelské metriky

Metrika Definice
První instalace

Unikátní uživatelé, kteří aplikaci během experimentu nainstalovali poprvé. Data jsou uvedena v poměru k ostatním, aby byl zohledněn podíl publika.

Ponechané instalace (1denní)

Unikátní uživatelé, kteří aplikaci nainstalovali poprvé a po instalaci si ji ponechali minimálně jeden den po dobu experimentu. Data jsou uvedena v poměru k ostatním, aby byl zohledněn podíl publika.

Zachované předběžné registrace – dostupné pouze vybraným partnerům služby Play Počet uživatelů, kteří se předběžně zaregistrovali a zůstali zaregistrovaní alespoň 1 den.

Výsledky

Metriky s výsledky experimentu lze zobrazit dvěma způsoby:

  • Aktuální: Počet unikátních uživatelů.
  • Poměrné: Počet unikátních uživatelů vydělený podílem publika.

Pokud chcete zobrazit absolutní data o počtu instalací, použijte aktuální data. Pokud chcete zobrazit data škálovaná vzhledem k různým podílům publika (např. pokud 90 % publika mělo k dispozici jednu verzi a 10 % jinou), použijte poměrná data.

Položka Definice a příklady
Výkon

Očekávaná změna počtu instalací ve srovnání s aktuální verzí. Výkon se zobrazí, až experiment získá dostatek dat. Obecně platí, že čím delší dobu experiment běží a shromažďuje data, tím více se rozsah výkonu varianty zužuje a zpřesňuje.

Příklad: Příklad: Pokud jedna z variant měla rozsah výkonu +5% až +15%, je změna někde mezi těmito hodnotami. Nejpravděpodobnější změna ve výkonu bude uprostřed mezi těmito dvěma hodnotami, tedy +10 %.

Instalace (poměrné)
  • Počet instalací v průběhu experimentu, vydělený podílem publika.
  • Zahrnuto u experimentů, které byly zahájeny před 24. lednem 2019.
  • Například pokud jste provedli experiment se dvěma variantami, které použily 90 % a 10 % podílu publika, přičemž varianta A zaznamenala 900 instalací a varianta B 200 instalací, poměrný počet instalací bude zobrazen jako A = 1000 (900 / 0,9) a B = 2000 (200 / 0,1).
Instalace (aktuální)
  • Počet instalací, které jsou dnes stále ještě nainstalovány.
  • Zahrnuto u experimentů, které byly zahájeny před 24. lednem 2019.

Metriky instalací (zastaralé)

Následující metriky se používaly u experimentů, které byly zahájeny před 24. lednem 2019. Experimenty zahájené před tímto datem příslušné statistiky stále zahrnují, ale nové experimenty používají pouze metriky prvních instalací a ponechaných instalací (1denní).

Metrika Definice a příklady
Instalace v aktivních zařízeních
  • Počet aktivních zařízení, ve kterých jsou aktuálně nainstalovány jednotlivé varianty aplikace, uvedený v poměru k ostatním, aby byly zohledněny různé úrovně publika.
Počet instalací podle uživatelů
  • Počet unikátních uživatelů, kteří v příslušný den nainstalovali jednotlivé varianty aplikace, uvedený v poměru k ostatním, aby byly zohledněny různé úrovně publika.
Počet odinstalací podle uživatelů
  • Počet odinstalací jednotlivých variant aplikace v příslušný den, uvedený v poměru k ostatním, aby byly zohledněny různé úrovně publika.

Experimenty se zastaralými metrikami

Od září 2019 budou experimenty s výše uvedenými zastaralými metrikami automaticky ukončeny. Počítejte s tím ve svých plánech a v experimentech se záznamy v obchodu používejte nejnovější metriky. 

Výsledky ukončených experimentů naleznete v sekci Ukončené experimenty na stránce Experimenty se záznamy v obchodu.

Registrace k odběru oznámení o experimentech

Pokud chcete po dokončení experimentů dostávat oznámení a e‑maily, nastavte předvolby na stránce Oznámení ve službě Play Console. 

Další informace o e‑mailových oznámeních naleznete v sekci Správa informací o účtu vývojáře.

Pomohly vám tyto informace?

Jak bychom článek mohli vylepšit?

Potřebujete další pomoc?

Vyzkoušejte tyto další kroky:

false
Vyhledávání
Vymazat vyhledávání
Zavřít vyhledávání
Hlavní nabídka
5850310704737519687
true
Prohledat Centrum nápovědy
true
true
true
true
true
92637
false
false