Mitä menetelmää kokeilutiimi käyttää todennäköisyysvälien ja tilastollisen merkitsevyyden laskemiseen?
Ryhmiteltyyn dataan sovelletaan jackknife-otantamenetelmää, jolla voidaan laskea mittarin prosentuaalisen muutoksen otosvarianssi. Tämän jälkeen tehdään kaksisuuntainen merkitsevyyden testi käyttämällä 95 %:n todennäköisyysväliä.
Miksi data ryhmitellään?
Datan ryhmitteleminen ehkäisee pienten havaintovirheiden vaikutuksia. Jos haluat lisätietoja datan ryhmittelemisen hyödyistä, voit aloittaa aiheen tutkimisen täältä.
Vaikka data ei jakautuisi normaalisti, ryhmitelty data jakautuu suurin piirtein normaalisti keskeisen raja-arvolauseen mukaisesti, mikäli kussakin ryhmässä on riittävästi havaintoja. Jos ryhmäkohtainen havaintojen määrä on liian pieni, todennäköisyysväli voidaan laskea jackknife-menetelmän avulla.
Miksi jackknife-otantamenetelmää kannattaa käyttää?
Google käyttää jackknife-menetelmää vakiomenetelmänään, koska se on monipuolinen ja koska sillä saadaan kattavia tuloksia. Sillä voidaan myös tehokkaasti havaita poikkeavia havaintoja ja pienentää otoksen arvion vinoumaa. Lisäksi menetelmästä on hyötyä erityisesti silloin, kun dataa ei ole riittävästi tarkan arvion muodostamista varten raja-arvolauseen avulla. Tällöin menetelmää sovelletaan ryhmiteltyyn dataan, jotta todennäköisyysvälien tarkkuutta voidaan parantaa entisestään.
Voit lukea yleiskatsauksen jackknife-menetelmästä täältä. Jos haluat tarkempaa tietoa sen hyödyistä, lue tämä artikkeli.
Voivatko ulkoiset mainostajat koota useiden kokeilujen tehokkuusdataa kokeilujen suorittamisen jälkeen ja laskea tilastot uudelleen koontitasolla?
Eivät. Mainostajilla ei ole pääsyä käyttäjätason dataan, jota he tarvitsisivat ryhmitelläkseen dataa uudelleen ja käyttääkseen jackknife-algoritmia. Tällä hetkellä ei ole saatavilla sisäisiä työkaluja, joiden avulla voisimme tehdä tämän asiakkaidemme puolesta.
Vaikuttaako kohdistus siihen, miten huutokaupan osuuden jakaumaa sovelletaan kokeiluun ja alkuperäiseen kampanjaan?
Kohdistus ei vaikuta jakaumaan. Jakaumaa sovelletaan hyväksyttäviin huutokauppoihin ennen kohdistamista. Esimerkiksi 50/50-jakauma tarkoittaa, että kokeilu ja alkuperäinen kampanja osallistuvat yhtä moneen huutokauppaan.
Millä ehdoilla voidaan varmistaa todenmukainen A/A-testi?
A/A-testissä kokeilu ja alkuperäinen kampanja ovat identtisiä (eli esimerkiksi kampanjan mainoksissa, mainosryhmissä, asetuksissa tai mainosten hyväksymisessä ei ole eroja). A/A-testin aikana tehtävät muutokset on tehtävä samanaikaisesti sekä kokeiluun että alkuperäiseen kampanjaan.
Minkälaisia tuloksia A/A-testillä tulisi saada?
Testin ei tulisi havaita tilastollisesti merkitseviä eroja klikkauksissa, impressioissa, klikkausprosentissa tai klikkauskohtaisessa hinnassa.
Mitä eroa on hakuihin ja evästeisiin perustuvilla jakaumilla?
Voit valita kahdesta vaihtoehdosta, millä tavalla käyttäjät jaotellaan. Jos valitset hakuihin perustuvan kokeilujakauman, käyttäjät jaotellaan kunkin haun yhteydessä satunnaisesti kokeiluun ja alkuperäiseen kampanjaan. Sama käyttäjä saattaa nähdä sekä kokeilun että alkuperäisen kampanjan, jos hän tekee monta hakua. Jos valitset evästeperusteisen kokeilujakauman, käyttäjät näkevät vain yhden version kampanjastasi riippumatta siitä, kuinka monta hakua he tekevät. Tämä voi auttaa varmistamaan, että muut tekijät eivät vaikuta tuloksiin.
Kuinka montaa ryhmää käytetään?
Sekä vertailukampanjassa että kokeilussa käytetään kahtakymmentä ryhmää. Jos ryhmiä on liikaa, tilastollisesti merkitsevien tulosten saaminen saattaa kestää liian kauan. Jos ryhmiä on liian vähän, todennäköisyysväliä koskevia laskelmia ei välttämättä voida tehdä tarkasti. Näin voidaan löytää niin käytännön vaatimusten kuin tilastollisen tarkkuudenkin kannalta toimiva ratkaisu.
