Sovelluksen tietosivun testaaminen A/B-testeillä

Olemme tehneet Play Consolen tietosivukokeiluihin muutoksia, joiden avulla kehittäjät voivat vaikuttaa kokeiluihinsa enemmän ja saavat paremman kuvan tilastoista. Olemme lisänneet nämä kolme uutta ominaisuutta:

• Kokeilun parametrien määritys
• Laskin, jonka avulla arvioidaan tarvittavien näytteiden määrää ja kokeilun kestoa
• Todennäköisyysvälit, jotka mahdollistavat jatkuvan valvonnan 

Tämä sivu on päivitetty vastaamaan tehtyjä muutoksia. 

Tällä sivulla kuvatut ominaisuudet eivät ole vielä kaikkien kehittäjien käytettävissä.

Jos haluat optimoida sovelluksen tietosivua Google Playssa, voit tehdä kokeiluja ja löytää sovelluksellesi tehokkaampia grafiikoita ja lokalisoituja tekstejä. Voit tehdä kokeiluja päätietosivulle ja yksilöidylle tietosivulle.

Jos sovelluksesi on julkaistu, voit verrata sen nykyistä versiota vaihtoehtoisiin versioihin. Näin näet, millä niistä on parhaat asennuslukemat. Ennen kuin määrität testin, tutustu tehokkaiden kokeilujen tekemisen parhaisiin käytäntöihin.

Huom. Maailmanlaajuisten kokeilujen uusi nimi on graafiset oletuskokeilut. Niiden toiminnot ovat samat kuin ennen nimenvaihdosta.

Kokeilutyypit

Kullakin sovelluksella voi olla kerrallaan käynnissä yksi graafinen oletuskokeilu tai korkeintaan viisi lokalisoitua kokeilua.

Oletusgrafiikat 

Graafisen oletuskokeilun avulla voit testata kuvasisältöä sovelluksesi tietosivun oletuskielellä. Voit testata vaihtoehtoisia sovelluskuvakkeita, ominaisuuskuvia, kuvakaappauksia ja mainosvideoita.

• Jos sovelluksen tietosivu on saatavilla vain yhdellä kielellä: Graafiset oletuskokeilut näytetään kaikille käyttäjille.
• Jos olet lisännyt lokalisoitua graafista sisältöä tietyllä kielellä: Sovelluksen graafiset oletuskokeilut eivät ole saatavilla käyttäjille, jotka näkevät sovelluksesi sillä kielellä. Jos sovelluksesi oletuskieli on esimerkiksi englanti ja sovellus sisältää suomeksi lokalisoidun ominaisuuskuvan, sovellustasi suomeksi käyttävät henkilöt suljetaan kokeilun ulkopuolelle (vaikka testaisit sovelluksen kuvaketta).

Lokalisoitu (teksti ja kuvasisältö)

Lokalisoidun kokeilun avulla voit testata sovelluksesi kuvaketta, ominaisuuskuvaa, kuvakaappauksia, mainosvideota ja/tai kuvauksia korkeintaan viidellä eri kielellä. Nämä kokeiluversiot näytetään vain henkilöille, jotka katselevat sovelluksesi tietosivua jollakin valitsemistasi kielistä.

Jos sovelluksesi tietosivu on saatavilla vain yhdellä kielellä, lokalisoidut kokeilut näytetään vain käyttäjille, jotka katselevat sovellustasi sen oletuskielellä.

Vaihe 1: Luo kokeilu

Luo kokeilu Play Consolessa näin:

1. Avaa Play Console ja siirry Sovelluksen tietosivukokeilut ‐sivulle (Kasvu > Kaupassa näkyminen > Sovelluksen tietosivukokeilut).
2. Valitse Luo kokeilu.
3. Lisää kokeilulle nämä tiedot:
   • Kokeilun nimi: Lisää kokeilun nimi (enintään 50 merkkiä).
   • Sovelluksen tietosivu: Valitse sovelluksen tietosivu, jolla haluat suorittaa kokeilun.
   • Kokeilun tyyppi: Valitse Graafinen oletuskokeilu tai Lokalisoitu kokeilu.
4. Valitse Seuraava.
5. Siirry kohtaan Vaihe 2: Ota kokeilu käyttöön ja noudata siinä annettuja ohjeita.

Vaihe 2: Ota kokeilu käyttöön

Kun olet luonut kokeilun, voit valita testattavat tietosivut, versiot ja määritteet.

Ota kokeilu käyttöön näin:

1. Seuraa ohjeita näytöllä. Valitse sovelluksen tietosivu ja lisää kokeilun tavoitteet, esim., kohdemittari, kohdeyleisö, versiot ja muut asetukset.
   • Saat lisätietoja ja vinkkejä alla olevasta taulukosta.
2. Aloita kokeilu siirtymällä sivun yläosaan ja valitsemalla Tee kokeilu.
3. Jos haluat määrittää kokeilun loppuun myöhemmin, valitse Tallenna.

Kenttien kuvausten, esimerkkien ja vinkkien näkeminen

Alla mainitut sovelluksen tietosivun tiedot täytyy lisätä, kun luot kokeilua.

Kenttä	Kuvaus	Esimerkkejä ja vinkkejä
Kokeilun nimi	Nimeä käytetään vain kokeilun tunnisteena Play Consolessa, eivätkä käyttäjät näe sitä.	"Erottuva kuvake ‑kokeilu" ”Logo ominaisuuskuvana” "Uusi mainoslause lyhyessä kuvauksessa"
Sovelluksen tietosivu	Tietosivu (päätietosivu tai yksilöity), jota haluat testata.	Kun aloitat kokeilun, yksilöidyn tietosivun nimi näkyy sellaisena kuin se oli kokeilun alkaessa. Jos päivität yksilöidyn tietosivun nimen kokeilun alettua, nimi ei muutu kokeilussa. Välttääksesi sekaannuksia kokeilujen aikana sinun kannattaa poistaa käyttämättömät yksilöidyt tietosivut ja luoda sitten uusia tarvittaessa.

Sinun täytyy lisätä alla mainitut kokeilun tavoitteita koskevat tiedot ottaessasi kokeilua käyttöön. Nämä asetukset vaikuttavat kokeilun tarkkuuteen ja siihen, kuinka monta asentajaa tarvitaan tuloksen saavuttamiseen.

Kenttä	Kuvaus	Esimerkkejä ja vinkkejä
Kohdemittari	Mittari, jota käytetään kokeen lopputuloksen määrittämiseen.	Tähän on kaksi eri tapaa:  Säilytetyt ensimmäistä kertaa asentaneet (suositus): Käyttäjät, jotka asensivat sovelluksesi ensimmäistä kertaa ja pitivät sen asennettuna ainakin yhden päivän. Ensimmäistä kertaa asentaneet: Käyttäjät, jotka asensivat sovelluksesi ensimmäistä kertaa riippumatta siitä, säilyttivätkö he sovelluksen.
Versiot	Niiden kokeellisten versioiden määrä, joita verrataan nykyiseen sovelluksen tietosivuun. Jos testaat yhtä versiota, kokeilun suorittamiseen kuluu vähemmän aikaa.	Voit lisätä kokeiluun uuden version valitsemalla toisen vaihtoehdon Versiot-valikosta. Kokeilu voi sisältää korkeintaan kolme testattavaa versiota nykyisen version lisäksi.
Kokeilun yleisö	Prosenttiosuus tietosivulla käyneistä, jotka näkevät kokeellisen version nykyisen tietosivun sijaan.  Kävijät jaetaan tasaisesti kokeellisten versioiden kesken.	Jos merkitset yleisöksi 30 % käyttäjistä, loput 70 % sovelluksesi tietosivulla vierailevista käyttäjistä näkevät sivusi nykyisen version. Jos yleisön suuruus on 30 % ja kokeilussa on kaksi versiota, kumpikin versio näytetään 15 %:lle käyttäjistä. Kokeilun aikana kullekin käyttäjälle näytetään vain yksi testiversio tai sivusi nykyinen versio.
Pienin havaittava vaikutus	Kokeellisten versioiden ja kontrolliversion välinen vähimmäisero, joka vaaditaan, jotta voidaan nähdä, mikä suoriutuu parhaiten. Jos ero on pienempi kuin tämä, kokeesi lasketaan päättyneen tasatulokseen.
Todennäköisyystaso	Kuinka usein sovelluksen tietosivun todellinen kehitys sisältyy kokeilun todennäköisyysväliin.	Todennäköisyystason nostaminen vähentää virheellisten havaintojen todennäköisyyttä. Huom. Jos valitset kokeilulle 90 %:n todennäköisyystason, yksi kymmenestä kokeiluraportista voi olla virheellinen.
Määritteet	Valitse kohdetyyppi, jota haluat verrata tietosivun nykyiseen versioon.	Kokeilut ovat hyödyllisempiä, jos testaat vain yhtä määritettä kerrallaan. Voit testata lyhyttä kuvausta ja täyttä kuvausta vain lokalisoidulla kokeilulla. Jos testaat graafista sisältöä, muista noudattaa koon ja tiedostotyyppien vaatimuksia.

Jos valitset Muokkaa arvioita, kun lisäät kokeilun tavoitetietoja, voit muokata alla kuvattuja arvioituja päivittäisiä arvoja. Nämä arvot auttavat laskemaan kokeilun keston. Arvot voivat erota havaitusta kehityksestä.

Kenttä	Kuvaus	Esimerkkejä ja vinkkejä
Uusien käyttäjien päivittäiset käynnit	Niiden tietosivulla käyneiden arvioitu määrä, jotka eivät olleet asentaneet sovellustasi aiemmin
Konversioprosentti	Niiden kävijöiden arvioitu prosenttimäärä, jotka konvertoituvat kohdemittariisi.	Jos kohdemittarisi on esimerkiksi ensimmäistä kertaa asentaneet, konversioprosentti on niiden kävijöiden arvioitu prosenttiosuus, jotka konvertoituvat ensimmäistä kertaa asentaneiksi.
Päivän säilytetyt ensimmäistä kertaa asentaneet	Niiden kävijöiden arvioitu määrä, jotka asentavat sovelluksen ensimmäistä kertaa ja pitävät sen asennettuna yhden päivän jälkeen.	Lue lisää tilastojen, mittarien ja esimerkkien kuvausten näkemisestä.
Ensimmäistä kertaa asentaneet päivittäin	Niiden kävijöiden arvioitu määrä, jotka käyvät sovelluksesi tietosivulla ja asentavat ensimmäistä kertaa.	Lue lisää tilastojen, mittarien ja esimerkkien kuvausten näkemisestä.

Vaihe 3: Tulosten tarkistaminen ja käyttäminen

Tarkista ja käytä tuloksia näin:

1. Avaa Play Console ja siirry Sovelluksen tietosivukokeilut ‐sivulle (Kasvu > Kaupassa näkyminen > Sovelluksen tietosivukokeilut).
2. Valitse oikealle osoittava nuoli sen kokeilun taulukkoriviltä, jota haluat katsella. Alla olevasta Tietosivukokeilutaulukot ‐kohdasta löydät lisätietoa tietojen näyttämisestä.
3. Tulokset-osiossa näet yhteenvedon kokeilusi tuloksista. Tulokset perustuvat kohdemittariisi.
   
   Tulokset kertovat, mikä versio toimii parhaiten tai paremmin kuin nykyinen tietosivusi. Näet myös tämän tuloksen todennäköisyysväliin ja havaittavissa olevan vaikutuksen vähimmäisarvoon perustuvan selityksen sekä toimintasuosituksen (jos sellaisen voi tarjota). Saatat nähdä "Lisädataa tarvitaan" ‐tekstin, jos dataa ei ole kerätty riittävästi tulosta varten.
    
4. Seuraava vaihe riippuu kokeilun tuloksista:
   • Jos versio toimii hyvin, voit nähdä suosituksen ottaa sen käyttöön.
   • Jos tulos on "Jatka kokeilua ja kerää lisää dataa", palaa takaisin myöhemmin.
   • Jos useat versiot toimivat paremmin kuin tietosivusi tai jos tuloksena oli "Tasatulos", tarkista tulokset ja päätä, mitä versiota haluat käyttää. 
   • Jos parhaiten toimii nykyinen tietosivusi, valitse Säilytä nykyinen tietosivu.

Tietosivukokeilutaulukot

Kun olet ottanut kokeilut käyttöön, näet seuraavat tiedot Sovelluksen tietosivun kokeilut ‑sivulla. Kokeilun tiedot on järjestetty neljään taulukkoon, jotka on lueteltu alla. Jos haluat nähdä lisätietoa, valitse oikea nuoli sen kokeilun taulukkoriviltä, jota haluat katsoa.

Luonnokset

• Kokeilun nimi: Kokeilusi nimi
• Sovelluksen tietosivu: Sovelluksen tietosivu, jolla kokeilu on käynnissä
• Kokeilun tyyppi: Oletusgrafiikat tai lokalisoitu
• Tiedot: Kohdekäyttäjille näytettävien versioiden määrä ja prosenttiosuus

Kesken

• Kokeilun nimi: Kokeilusi nimi
• Sovelluksen tietosivu: Sovelluksen tietosivu, jolla kokeilu on käynnissä
• Kokeilun tyyppi: Oletusgrafiikat tai lokalisoitu
• Aloituspäivä: Päivä, jolloin kokeilu aloitettiin
• Tiedot: Käyttäjille näytettävien versioiden määrä ja prosenttiosuus

Valmis

• Kokeilun nimi: Kokeilusi nimi
• Sovelluksen tietosivu: Sovelluksen tietosivu, jolla kokeilu on käynnissä
• Kokeilun tyyppi: Oletusgrafiikat tai lokalisoitu
• Aloituspäivä: Päivä, jolloin kokeilu aloitettiin
• Tiedot: Käyttäjille näytettävien versioiden määrä ja prosenttiosuus
• Tulos: Kokeilusi tulos

Aiemmat kokeilut

• Kokeilun nimi: Kokeilusi nimi
• Sovelluksen tietosivu: Sovelluksen tietosivu, jolla kokeilu on käynnissä
• Kokeilun tyyppi: Oletusgrafiikat tai lokalisoitu
• Aloituspäivä: Päivä, jolloin kokeilu aloitettiin
• Päättymispäivä: Päivä, jolloin kokeilu päättyi
• Tila: Käytössä tai ei käytössä

Tilastojen, mittarien ja esimerkkien kuvausten näkeminen

Kun olet valinnut kokeilun, voit nähdä käyttäjiä ja asentaa mittareita, joilla esitetään yhteenveto kunkin version tehokkuudesta.

Käyttäjämittarit

Mittari	Määritelmä
Ensi kertaa asentaneet	Yksittäiset käyttäjät, jotka asensivat sovelluksesi ensi kertaa kokeilun aikana. Data on suhteutettu erilaisiin yleisömääriin.
Sovelluksen pitäneet asentajat (1 päivä)	Yksittäiset käyttäjät, jotka asensivat sovelluksesi ensi kertaa kokeilun aikana ja pitivät sen ainakin päivän asennuksen jälkeen. Data on suhteutettu erilaisiin yleisömääriin.
Säilytetyt ennakkorekisteröinnit – saatavilla vain tietyille Playn yhteistyökumppaneille	Käyttäjät, jotka ennakkorekisteröityivät ja pysyivät ennakkorekisteröityneinä vähintään yhden päivän

Tulokset

Voit nähdä kokeilun tuloksia kuvaavat mittarit kahdella eri tavalla:

• Nykyiset: Yksittäisten käyttäjien määrä
• Suhteutetut: Yksittäisten käyttäjien määrä jaettuna yleisömäärällä

Käytä nykyistä dataa, jos haluat nähdä dataa käyttäjien absoluuttisista määristä. Jos haluat nähdä dataa, joka on suhteutettu erilaisiin yleisömääriin (esim. jos 90 % yleisöstä on nähnyt yhden version ja 10 % toisen), käytä suhteutettua dataa.

Kohde	Määritelmä ja esimerkkejä
Tehokkuus	Arvioitu muutos asennusten määrässä verrattuna nykyiseen versioon. Tehokkuus näytetään vasta, kun kokeilusta on kertynyt riittävästi tietoa. Kun kokeilulla on enemmän aikaa toimia ja kerätä tietoja, version tehokkuusalueesta tulee yleensä kapeampi ja tarkempi. Esimerkki: Jos version tehokkuusalue on +5 %…+15 %, muutos on näiden arvojen välissä. Todennäköisin tehokkuuden muutos on näiden kahden luvun keskellä, noin +10 %.
Asennukset (skaalattu)	Kokeilun aikana tehdyt asennukset jaettuna yleisöosuudella. Myös ennen 24. tammikuuta 2019 alkaneet kokeilut. Esimerkki: Kokeilussa testataan versioita A ja B. Versio A:n yleisöosuus on 90 % ja versio B:n 10 %. Kun versio A:n asennuksien lukumäärä on 900 ja B:n 200, niin A:n skaalattujen asennuksien lukumäärä on 1 000 (900/0,9) ja B:n 2 000 (200/0,1).
Asennukset (tällä hetkellä)	Asennukset, joita ei ole vielä poistettu. Myös ennen 24. tammikuuta 2019 alkaneet kokeilut.

Asennuksia koskevat mittarit (poistettu käytöstä)

Seuraavia mittareita on käytetty ennen 24. tammikuuta 2019 alkaneissa kokeiluissa. Ennen sitä alkaneet kokeilut sisältyvät vielä näihin tilastoihin, mutta uusiin kokeiluihin sisältyy käyttäjiä koskevat mittarit ainoastaan ensimmäistä kertaa asentaneiden ja sovelluksen pitäneiden asentajien (1 päivä) osalta.

Mittari	Määritelmä ja esimerkkejä
Asennukset aktiivisille laitteille	Niiden aktiivisten laitteiden määrä, joille kukin sovelluksen versio on tällä hetkellä asennettu, suhteutettuna erilaisiin yleisömääriin.
Sovelluksen asentaneet käyttäjät	Tiettynä päivänä sovelluksen tietyn version asentaneiden yksittäisten käyttäjien määrä, suhteutettuna erilaisiin yleisömääriin.
Sovelluksen poistaneet käyttäjät	Tiettynä päivänä sovelluksen tietyn version poistaneiden käyttäjien määrä, suhteutettuna erilaisiin yleisömääriin.

Käytöstä poistettuja mittareita käyttävät kokeilut

Kokeilut, joissa käytetään edellä mainittuja käytöstä poistettuja mittareita, lopetetaan automaattisesti syyskuussa 2019. Ota tämä suunnittelussa huomioon ja käytä sen sijaan uusimpia tietosivukokeilujen mittareita. 

Voit näyttää lopetettujen kokeilujen tulokset Sovelluksen tietosivun kokeilut ‑sivun kohdasta Lopetetut kokeilut.

Kokeiluilmoitusten käyttöönotto

Jos haluat saada ilmoituksen ja sähköpostin, kun kokeilusi ovat valmiita, muista määrittää asetukset Play Consolen Ilmoitukset-sivulla. 

Lue lisää sähköposti-ilmoituksista kehittäjätilin tietojen ylläpitosivulta.