Veikala ieraksta A/B testu izpilde

Lai izstrādātājiem sniegtu plašākas kontroles iespējas un uzticamākus statistikas datus, mēs nesen veicām dažas izmaiņas veikala ierakstu eksperimentos rīkā Play Console. Esam pievienojuši trīs jaunas iespējas:

  • eksperimenta parametru konfigurācija;
  • kalkulators nepieciešamā datu apjoma un pabeigšanas laika aprēķināšanai;
  • ticamības intervāli, kas tagad nodrošina nepārtrauktu uzraudzību. 

Šī lapa ir atjaunināta, lai atspoguļotu šīs izmaiņas. 

Šajā lapā aprakstītās funkcijas vēl nav pieejamas visiem izstrādātājiem.

Lai sekmīgāk optimizētu savu veikala ierakstu pakalpojumā Google Play, varat noskaidrot visefektīvākos grafiskos līdzekļus un lokalizēto tekstu savai lietotnei, veicot eksperimentus. Varat veikt eksperimentus sava galvenā un pielāgotā veikala ieraksta lapā.

Varat salīdzināt savas publicētās lietotnes pašreizējo versiju ar variantiem, lai uzzinātu, kurai versijai ir vislabākā veiktspēja, ņemot vērā instalēšanas datus. Pirms testa izveides skatiet efektīvu eksperimentu veikšanas paraugpraksi.

Piezīme. Globālie eksperimenti ir pārdēvēti par noklusējuma grafisko līdzekļu eksperimentiem. To funkcionalitāte pēc pārdēvēšanas nav mainījusies.

Eksperimentu veidi

Katrai lietotnei vienlaikus varat veikt vienu noklusējuma grafisko līdzekļu eksperimentu vai piecus lokalizētus eksperimentus.

Noklusējuma grafisko līdzekļu eksperiments 

Izmantojot noklusējuma grafisko līdzekļu eksperimentu, varat eksperimentēt ar grafiskajiem līdzekļiem savas lietotnes veikala ieraksta noklusējuma valodā. Varat iekļaut lietotnes ikonas, galvenā reklāmas attēla, ekrānuzņēmumu un reklāmas videoklipa variantus.

  • Ja jūsu lietotnes veikala ieraksts ir pieejams tikai vienā valodā: noklusējuma grafisko līdzekļu eksperiments tiks rādīts visiem lietotājiem.
  • Ja pievienojāt lokalizētus grafiskos līdzekļus konkrētā valodā: lietotāji, kuri skata jūsu lietotni attiecīgajā valodā, tiek izslēgti no jūsu lietotnes noklusējuma grafisko līdzekļu eksperimenta. Piemēram, ja lietotnes noklusējuma valoda ir angļu valoda un lietotnes galvenais reklāmas attēls ir lokalizēts franču valodā, lietotāji, kuri skata lietotni franču valodā, tiks izslēgti no šī eksperimenta (pat ja veiksiet ikonas eksperimentu).
Lokalizēti eksperimenti (teksts un grafiskie līdzekļi)

Izmantojot lokalizētu eksperimentu, varat eksperimentēt ar lietotnes ikonu, galveno reklāmas attēlu, ekrānuzņēmumiem, reklāmas videoklipu un/vai lietotnes aprakstiem ne vairāk kā piecās valodās. Eksperimenta varianti tiks rādīti tikai tiem lietotājiem, kuri skatīs jūsu lietotnes veikala ierakstu jūsu izvēlētajās valodās.

Ja lietotnes veikala ieraksts ir pieejams tikai vienā valodā, lokalizētie eksperimenti tiks rādīti tikai lietotājiem, kuri skatīs jūsu lietotni tās noklusējuma valodā.

1. darbība. Eksperimenta izveide

Lai rīkā Play Console izveidotu eksperimentu, veiciet tālāk norādītās darbības.

  1. Rīkā Play Console pārejiet uz lapu Veikala ierakstu eksperimenti (Progress > Veikala klātbūtne > Veikala ierakstu eksperimenti).
  2. Noklikšķiniet uz Izveidot eksperimentu.
  3. Ievadiet informāciju par eksperimentu.
    • Eksperimenta nosaukums: ievadiet eksperimenta nosaukumu (ne vairāk kā 50 rakstzīmju).
    • Veikala ieraksts: atlasiet veikala ierakstu, kuram vēlaties veikt šo eksperimentu.
    • Eksperimenta veids: izvēlieties Noklusējuma grafisko līdzekļu eksperiments vaiLokalizēts eksperiments.
  4. Noklikšķiniet uz Tālāk.
  5. Izpildiet norādījumus, kas sniegti sadaļā “2. darbība. Eksperimenta iestatīšana”.

2. darbība. Eksperimenta iestatīšana

Kad esat izveidojis eksperimentu, varat atlasīt veikala ierakstu, variantus un atribūtus, ko vēlaties testēt.

Lai iestatītu eksperimentu, veiciet tālāk norādītās darbības.

  1. Izpildiet ekrānā redzamos norādījumus, lai atlasītu veikala ierakstu un pievienotu eksperimenta mērķus, piemēram, mērķa rādītāju, eksperimenta mērķauditoriju, variantus un citus iestatījumus.
  2. Lai sāktu eksperimentu, lapas augšdaļā noklikšķiniet uz Sākt eksperimentu.
  3. Lai pabeigtu eksperimenta iestatīšanu vēlāk, noklikšķiniet uz Saglabāt.
Lauku aprakstu, piemēru un padomu skatīšana

Iestatot eksperimentu, jums ir jāsniedz tālāk norādītā veikala ieraksta informācija.

Lauks Apraksts Piemēri un padomi
Eksperimenta nosaukums

Eksperimenta nosaukums ir paredzēts eksperimenta identificēšanai un ir redzams tikai rīkā Play Console. Lietotāji nevar to redzēt.

  • “Spilgtas ikonas eksperiments”
  • “Logotipa galvenais reklāmas attēls”
  • “Īss apraksts ar jaunu saukli”
Veikala ieraksts Veikala ieraksts (galvenais vai pielāgotais), ko vēlaties testēt.

Pēc eksperimenta sākšanas tiek attēlots tas pats jūsu pielāgotā veikala ieraksta nosaukums, kas tika norādīts eksperimenta sākumā. Ja pēc eksperimenta sākšanas atjaunināsiet pielāgotā veikala ieraksta nosaukumu, tas netiks mainīts eksperimentā.

Lai izvairītos no pārpratumiem eksperimentu veikšanas laikā, ieteicams dzēst neizmantotos pielāgotos veikala ierakstus un pēc tam izveidot jaunus ierakstus, kad tas nepieciešams.


Iestatot eksperimentu, ir jānorāda eksperimenta mērķu informācija. Šie iestatījumi ietekmēs eksperimenta precizitāti, kā arī to, cik instalētāju ir nepieciešams rezultāta sasniegšanai

Lauks Apraksts Piemēri un padomi
Mērķa rādītājs Šīs rādītājs tiks izmantots eksperimenta rezultāta noteikšanai

Ir pieejamas divas iespējas. 

  • Noturētie lietotāji, kuri lietotni instalēja pirmo reizi (ieteicams): to lietotāju skaits, kuri instalēja lietotni pirmo reizi un paturēja to vismaz vienu dienu.
  • Lietotāji, kuri lietotni instalēja pirmo reizi: to lietotāju skaits, kuri instalēja lietotni pirmo reizi (neatkarīgi no tā, vai lietotāji lietotni paturēja).
Varianti Eksperimentālo variantu skaits testēšanai salīdzinājumā ar pašreizējo veikala ierakstu. Testējot tikai vienu variantu, būs nepieciešams mazāk laika eksperimenta pabeigšanai.

Lai eksperimentam pievienotu jaunu variantu, nolaižamajā izvēlnē Varianti atlasiet citu opciju.

Katra eksperimenta pašreizējai versijai varat pievienot trīs variantus.

Eksperimenta mērķauditorija

To veikala ieraksta apmeklētāju procentuālā daļa, kuriem tiks rādīts eksperimentālais variants, nevis pašreizējais ieraksts. 

Šo apmeklētāju skaits visiem eksperimentālajiem variantiem tiks sadalīts vienādi.

Ja kā mērķauditorijas daļu ierakstāt 30%, atlikušajiem 70% veikala ieraksta lapas apmeklētāju tiks rādīta lapas pašreizējā versija.

Ja mērķauditorijas daļa ir 30% un pastāv divi eksperimenta varianti, katrs variants tiks rādīts 15% lietotāju.

Eksperimenta laikā katrs lietotājs redzēs tikai vienu variantu vai jūsu lapas pašreizējo versiju.

Minimālais konstatējamais efekts Minimālā atšķirība starp variantiem un kontroles grupām, kas ir nepieciešama, lai noteiktu labāko rezultātu. Ja atšķirība būs mazāka, eksperiments rezultāts tiks uzskatīts par neizšķirtu.  
Uzticamības līmenis Norāda, cik bieži eksperimentā sniegtais ticamības intervāls ietvers veikala ieraksta faktisko veiktspēju.

Palielinot uzticamības līmeni, samazināsies iespējamība saņemt viltus pozitīvu rādītāju.

Piezīme. Ja eksperimentam izvēlēsieties 90% uzticamības līmeni, vienā no desmit eksperimentiem var tikt iegūts aplami pozitīvs rezultāts.

Atribūti

Atlasiet, kāda veida vienumu vēlaties testēt salīdzinājumā ar pašreizējo ierakstu.

Lai eksperimentu veikšana būtu efektīvāka, vienlaicīgi testējiet tikai vienu atribūtu.

Īso aprakstu un pilno aprakstu var testēt tikai lokalizētā eksperimentā.

Ja testējat grafiskos līdzekļus, ievērojiet prasības par to lielumu un faila tipu.


Ja, ievadot eksperimenta mērķu informāciju, noklikšķināt uz Rediģēt aptuvenās vērtības, varat rediģēt tālāk norādītās aprēķinātās dienas vērtības. Šīs vērtības palīdzēs aprēķināt eksperimenta ilgumu. Tās var atšķirties no novērotās veiktspējas.

Lauks Apraksts Piemēri un padomi
Jaunu lietotāju apmeklējumi dienā Aptuvenais to veikala ieraksta apmeklētāju skaits, kuri iepriekš nav instalējuši jūsu lietotni.  
Reklāmguvumu līmenis Aptuvenā apmeklētāju procentuālā daļa, kas atbildīs mērķa rādītāja prasībām.

Piemēram, ja jūsu mērķa rādītājs ir lietotāji, kas lietotni instalēja pirmo reizi, reklāmguvumu līmenis būs aptuvenā to apmeklētāju procentuālā daļa, kuri lietotni instalēs pirmo reizi.

Katru dienu noturētie lietotāji, kuri lietotni instalēja pirmo reizi

Aptuvenais to lietotāju skaits, kuri pirmoreiz instalēs jūsu lietotni un paturēs to vismaz vienu dienu.

Plašāku informāciju skatiet sadaļā Statistikas datu aprakstu, rādītāju un piemēru skatīšana.
Katru dienu iegūtie lietotāji, kuri lietotni instalēja pirmo reizi

Aptuvenais to lietotāju skaits, kuri apmeklēs veikala ierakstu un pirmoreiz veiks instalēšanu.

Plašāku informāciju skatiet sadaļā Statistikas datu aprakstu, rādītāju un piemēru skatīšana.

3. darbība. Rezultātu pārskatīšana un lietošana

Lai pārskatītu un lietotu rezultātus, veiciet tālāk norādītās darbības.

  1. Rīkā Play Console pārejiet uz lapu Veikala ierakstu eksperimenti (Progress > Veikala klātbūtne > Veikala ierakstu eksperimenti).
  2. Atlasiet pa labi vērsto bultiņu tabulas rindā pie eksperimenta, kuru vēlaties pārskatīt. Lai uzzinātu vairāk par to, kā tiek parādīta detalizētā informācija, skatiet sadaļu Veikala ierakstu eksperimentu tabulas.
  3. Sadaļā “Rezultāti” varat skatīt eksperimenta rezultātu kopsavilkumu. Rezultātu pamatā ir jūsu mērķa rādītājs.

    Rezultātos būs redzama, kuri varianti ir visefektīvākie vai efektīvāki par pašreizējo veikala ierakstu. Tiks parādīts arī šī rezultāta skaidrojums, pamatojoties uz tā ticamības intervālu un minimālo konstatējamo efektu, kā arī ieteiktā darbība (ja piemērojama). Ja nav savākts pietiekami daudz datu, lai iegūtu rezultātu, iespējams, tiks parādīts rezultāts “Nepieciešams vairāk datu”.
     
  4. Nākamā darbība būs atkarīga no jūsu eksperimenta rezultātiem.
    • Ja varianta veiktspēja bija laba, jums var tikt parādīts ieteikums lietot attiecīgo variantu.
    • Ja rezultāts ir “Turpiniet eksperimenta izpildi, lai ievāktu vairāk datu”, atgriezieties vēlāk.
    • Ja vairākiem variantiem bija labāka veiktspēja nekā veikala ierakstam vai ja rezultāts bija “Neizšķirts”, pārskatiet rezultātus, lai izlemtu, kuru variantu vēlaties lietot. 
    • Ja jūsu pašreizējam veikala ierakstam bija vislabākā veiktspēja, noklikšķiniet uz Saglabāt pašreizējo ierakstu.
Veikala ierakstu eksperimentu tabulas

Pēc eksperimentu izveides lapā Veikala ierakstu eksperimenti būs redzami tālāk norādītie dati. Eksperimenta informācija ir sakārtota četrās tabulās, kā norādīts tālāk. Lai iegūtu detalizētu informāciju, atlasiet tā eksperimenta tabulas rindu, kuru vēlaties skatīt.

Melnraksti

  • Eksperimenta nosaukums: eksperimenta nosaukums
  • Veikala ieraksts: veikala ieraksts, kuram tiek veikts eksperiments.
  • Eksperimenta veids: noklusējuma grafisko līdzekļu eksperiments vai lokalizēts eksperiments.
  • Detalizēta informācija: mērķa lietotāju procentuālajai daļai rādīto variantu skaits.

Sākti

  • Eksperimenta nosaukums: eksperimenta nosaukums
  • Veikala ieraksts: veikala ieraksts, kuram tiek veikts eksperiments.
  • Eksperimenta veids: noklusējuma grafisko līdzekļu eksperiments vai lokalizēts eksperiments.
  • Sākuma datums: kad tika sākts eksperiments.
  • Detalizēta informācija: rādīto variantu skaits un lietotāju procentuālā daļa.

Pabeigti

  • Eksperimenta nosaukums: eksperimenta nosaukums
  • Veikala ieraksts: veikala ieraksts, kuram tiek veikts eksperiments.
  • Eksperimenta veids: noklusējuma grafisko līdzekļu eksperiments vai lokalizēts eksperiments.
  • Sākuma datums: kad tika sākts eksperiments.
  • Detalizēta informācija: rādīto variantu skaits un lietotāju procentuālā daļa.
  • Rezultāts: eksperimenta rezultāts.

Iepriekšējie eksperimenti

  • Eksperimenta nosaukums: eksperimenta nosaukums
  • Veikala ieraksts: veikala ieraksts, kuram tiek veikts eksperiments.
  • Eksperimenta veids: noklusējuma grafisko līdzekļu eksperiments vai lokalizēts eksperiments.
  • Sākuma datums: kad tika sākts eksperiments.
  • Beigu datums: kad tika pabeigts eksperiments.
  • Statuss: lietots vai nav lietots.
Statistikas datu aprakstu, rādītāju un piemēru skatīšana

Pēc tam, kad esat atlasījis eksperimentu, varat skatīt lietotāju un instalēšanas rādītājus, kuros ir apkopota katra varianta veiktspēja.

Lietotāju rādītāji

Rādītājs Definīcija
Lietotāji, kuri lietotni instalēja pirmo reizi

Unikālie lietotāji, kuri eksperimenta laikā instalēja lietotni pirmo reizi. Dati ir mērogoti, lai atspoguļotu mērķauditorijas daļu.

Lietotāji, kuri instalēja un paturēja lietotni (vismaz 1 dienu)

Unikālie lietotāji, kuri eksperimenta laikā instalēja lietotni pirmo reizi un paturēja to vismaz vienu dienu pēc instalēšanas. Dati ir mērogoti, lai atspoguļotu mērķauditorijas daļu.

Noturētie lietotāji, kas reģistrējās iepriekš — pieejams tikai atsevišķiem Play partneriem. To lietotāju skaits, kas reģistrējās iepriekš un saglabāja reģistrāciju vismaz vienu dienu.

Rezultāti

Varat skatīt eksperimenta rezultātu rādītājus divos tālāk norādītajos veidos.

  • Pašreizējie dati: unikālo lietotāju skaits
  • Mērogotie dati: unikālo lietotāju skaits, kas dalīts ar mērķauditorijas daļu

Ja vēlaties skatīt absolūtos datus par instalētājiem, izmantojiet pašreizējos datus. Ja vēlaties skatīt datus, kas ir mērogoti kontam dažādās mērķauditorijas daļās (piemēram, ja 90% mērķauditorijas redzēja vienu versiju, bet 10% — citu), izmantojiet mērogotos datus.

Vienums Definīcija un piemēri
Veiktspēja

Paredzamās veiktspējas (instalēšanas gadījumu) izmaiņas, salīdzinot ar pašreizējo versiju. Veiktspējas informācija būs redzama tikai tad, kad eksperimentā būs ievākts pietiekami daudz datu. Ja eksperiments darbojas ilgāk un tiek apkopots lielāks datu apjoms, varianta veiktspējas diapazons kļūst mazāks un precīzāks.

Piemērs: ja vienam no variantiem veiktspējas diapazons bija no +5% līdz +15%, visticamāk, veiktspējas izmaiņas ir aptuveni vidējā vērtība, t.i., +10%.

Instalēšanas reizes (mērogots)
  • Eksperimenta laikā veikto instalēšanas gadījumu skaits, kas dalīts ar mērķauditorijas daļu.
  • Ietverts eksperimentiem, kas sākti līdz 2019. gada 24. janvārim.
  • Piemēram, ja veicat eksperimentu ar diviem variantiem, kuros tiek izmantotas mērķauditorijas daļas 90%/10%, un instalēšanas gadījumu skaits variantam A bija 900 un variantam B — 200, mērogotais instalēšanas gadījumu skaits variantam A būs 1000 (900/0,9) un variantam B — 2000 (200/0,1).
Instalēšanas reizes (pašreizējais skaits)
  • To instalēto lietotņu skaits, kuras joprojām ir instalētas.
  • Ietverts eksperimentiem, kas sākti līdz 2019. gada 24. janvārim.

Instalēšanas rādītāji (darbība pārtraukta)

Tālāk norādītie rādītāji tika izmantoti eksperimentiem, kas sākti līdz 2019. gada 24. janvārim. Eksperimenti, kas sākti līdz norādītajam datumam, joprojām ietver šo statistiku, taču jaunos eksperimentos tiek izmantoti tikai šie lietotāju rādītāji: lietotāji, kas lietotni instalēja pirmo reizi, un lietotāji, kas instalēja un paturēja lietotni (1 dienu).

Rādītājs Definīcija un piemēri
Instalēšanas reižu skaits aktīvās ierīcēs
  • To aktīvo ierīču skaits, kurās pašlaik ir instalēts katrs lietojumprogrammas variants (proporcionāli palielināts, lai kompensētu atšķirīgo auditorijas apjomu).
Instalēšanas reizes (lietotāji)
  • To unikālo lietotāju skaits, kuri instalēja katru lietotnes variantu noteiktā dienā (proporcionāli palielināts, lai kompensētu atšķirīgo auditorijas apjomu).
Atinstalēšanas reizes (lietotāji)
  • Katra lietotnes varianta atinstalēšanas reižu skaits noteiktā dienā (proporcionāli palielināts, lai kompensētu atšķirīgo auditorijas apjomu).

Eksperimenti, kuros tiek izmantoti novecojuši rādītāji

Kopš 2019. gada septembra tiek automātiski pārtraukti tādi eksperimenti, kuros tiek izmantoti iepriekš minētie novecojušie rādītāji. Lūdzu, ņemiet to vērā, plānojot eksperimentus, un šo rādītāju vietā izmantojiet jaunākos veikala ierakstu eksperimentu rādītājus. 

Pārtraukto eksperimentu rezultātus varat skatīt sadaļā Pārtrauktie eksperimenti veikala ierakstu eksperimentu lapā.

Reģistrēšanās paziņojumiem par eksperimentiem

Lai saņemtu paziņojumus un e-pasta ziņojumus par eksperimentu pabeigšanu, iestatiet preferences Play Console lapā Paziņojumi

Lai uzzinātu vairāk par e-pasta paziņojumiem, skatiet rakstu Izstrādātāja konta informācijas pārvaldība.

Vai tas bija noderīgs?

Kā varam to uzlabot?

Vai nepieciešama papildu palīdzība?

Izmēģiniet norādītās nākamās darbības.

false
Meklēšana
Notīrīt meklēšanu
Aizvērt meklēšanas lodziņu
Galvenā izvēlne
4873909215060130821
true
Meklēšanas palīdzības centrs
true
true
true
true
true
92637
false
false