Parannuksen varmuus

Parannuksen varmuus, joka on saatavilla vain Brand Lift ‑mittareille, on tärkeä mittari tulosparannuksen luotettavuuden arvioinnissa. Se ilmaisee, miten todennäköisesti mitattu parannus on kampanjoiden ansiota eikä sattumaa.

Sisällys:

Näin se toimii

Parannuksen varmuus lasketaan kaavalla "1 − p-arvo", ja joskus siihen viitataan "tilastollisena merkitsevyytenä" tai tulosparannuksen "todennäköisyytenä". P-arvo ilmaisee tulosparannuksen todennäköisyyden, jos mainokset ovat todellisuudessa tehottomia. Suuri varmuus eli matala p-arvo tarkoittaa, että tulokset eivät todennäköisesti johdu sattumasta vaan ovat hyvin todennäköisesti mainosten aiheuttamaa parannusta.


Brand Liftin varmuus

Google pyrkii keräämään riittävästi vastauksia suurimman varmuuden (90 %) parannusten havaitsemiseksi. Alhaisemmat tulokset voivat silti olla hyödyllisiä mainontapäätösten tekemisessä. Google Ads ‐tililläsi voit nähdä tulosparannuksen tulokset ja niiden varmuuden kaikissa tutkimuksissa, joiden mittausvarmuus on yli 70 %. Alle 70 %:n tuloksia ei raportoida, koska ne eivät olisi tilastollisesti tarpeeksi vahvoja ollakseen hyödyllisiä ja luotettavia.

Huom. Parannuksen varmuus ei ole käytettävissä kaikilla tileillä. Jos sitä ei ole tililläsi, voit nähdä vain tuloksia, joilla on suuri varmuus (yli 90 %). Parannuksen varmuus on käytettävissä vain Brand Lift ‐mittauksessa. Vain sellaiset Haku- ja Conversion Lift ‐tulokset jaetaan, joilla on suurin parannuksen varmuus (yli 90 %).


Parannuksen varmuuden tulkitseminen

Seuraava taulukko sisältää yleisiä ohjeita varmuudeltaan erilaisten parannustulosten tulkitsemiseen. Huomaa, että parannuksen varmuus on pyöristetty alaspäin 5 %:n välein. Voit käyttää alla olevaa taulukkoa ohjeena, mutta suosittelemme, että tulkitset tuloksia yrityksesi tarpeiden ja riskinsietokyvyn mukaan.

Parannuksen varmuus Tulkinta
≥90 % Korkea luottamustaso: Nämä tulokset ovat luotettavimpia, koska ne eivät todennäköisesti ole sattumaa. Voit hyödyntää korkean luottamustason tuloksia tehdessäsi mainoksiin liittyviä päätöksiä, sillä on vahvoja todisteita siitä, että mainokset ovat tuottaneet parannusta.
85 % Keskimääräinen luottamustaso: Nämä tulokset ovat varsin luotettavia, mutta vaihtelu on saattanut vaikuttaa niihin pienellä todennäköisyydellä. Tuloksia kannattaa käyttää suuntaa antavina tai tehtäessä pienen riskin päätöksiä.
80 %
75 % Alhainen luottamustaso: Nämä tulokset voivat olla sattumaa, eivätkä ne välttämättä kuvaa tarkasti mainostesi tuloksia. Tuloksia kannattaa käyttää vain suuntaa antavina tai tehtäessä hyvin pienen riskin päätöksiä. Voit kerätä enemmän kyselyvastauksia (mittaamalla uudelleen) saadaksesi lisää varmuutta ennen merkittävien päätösten tekemistä.
70 %
Vaikutusta ei havaittu Epäluotettavat tulokset: Tulokset, joiden varmuus on alle 70 %, eivät tarjoa tarpeeksi todisteita parannuksesta, ja ne raportoidaan Google Adsissa "Vaikutusta ei havaittu".

Huomaa, että Brand Lift pyrkii havaitsemaan parannuksen suurimmalla eli yli 90 %:n varmuudella. Alhaisemman varmuuden tulosten näyttäminen ei huononna tulosten laatua, mutta voit saada tietoja, jotka eivät muuten olisi saatavilla.

Tulosten epävarmuus

Alhaisen varmuuden tulokset eivät välttämättä tarkoita, että mainokset eivät ole tehokkaita. Niiden avulla voit saada ideoita, jotka tulee vielä tarkistaa. Jos parannuksen varmuus on alhainen, parannusta ei voitu havaita suurella varmuudella kyseisellä mittaustarkkuudella. Tämä voi johtua siitä, että kyselyvastauksia ei ole kerätty riittävästi tai parannus on alhainen. 

  • Pienet kyselyvastausmäärät: Pieni kyselyvastausmäärä (alle 4 100 vastausta) johtaa vähäiseen mittaustehoon, joten parannuksen varmuus on alhaisempi. Kyselymäärä on pienempi etenkin silloin, kun ryhmittelet tuloksia esimerkiksi iän, sukupuolen tai kampanjoiden mukaan. Uudelleenmittauksen avulla voit saada lisää kyselyvastauksia.
  • Alhainen absoluuttinen parannus: Kun parannus on alle 2 %, sitä on vaikea havaita suurella varmuudella. Alhainen absoluuttinen parannus ei kuitenkaan välttämättä tarkoita sitä, että tulokset olisivat huonoja. Kampanjat, joiden absoluuttinen parannus on alhainen, voivat silti tuottaa parempia tuloksia kuin hinta per brändimainonnalla vaikutettu käyttäjä (CPLU).

Varmuudeltaan erilaisten segmenttitason parannusten vertaaminen

On todennäköistä, että eri segmenttien, esimerkiksi eri ikäryhmien, parannuksen varmuus vaihtelee. Kuten edellä kerrottiin, ei ole sanottua, että varmuudeltaan suurin segmentti tuottaa parhaita tuloksia. 

Segmenttien vertailussa on suositeltavaa käyttää absoluuttista parannusta tai hintaa per brändimainonnalla vaikutettu käyttäjä (CPLU) (älä käytä brändimainonnalla vaikutettuja käyttäjiä). Huomaa myös, että eri segmentien välinen tulosparannus on usein samanlainen (todennäköisyysvälien suuri päällekkäisyys), minkä vuoksi parhaita segmenttejä on vaikea tunnistaa. Jos kuitenkin haluat optimoida kampanjasi parhaita tuloksia tuottaville segmenteille, parhaan keskimääräisen päätöksen tekemiseksi suosittelemme, että valitset segmentit, joilla on suurin absoluuttinen parannus (tai alhaisin CPLU). Huomaa kuitenkin, että mitä pienempi parannuksen varmuus on, sitä todennäköisemmin mitattu tulos voi johtua vaihtelusta. Jos sinulla on useita segmenttejä, joiden tulokset ovat samanlaisia, voi olla järkevää valita varmuudeltaan suurimmat riskien minimoimiseksi. Jos et ole varma, miten tunnistat parhaita tuloksia tuottavat segmentit, ota yhteyttä asiakasedustajaan.

Todennäköisyysvälit ja ‐tasot

Kun mainoksessa mainitaan parannus, ihmiset yleensä viittaavat parannuksen pistearvioon, joka on todennäköisimmin mainoksen aikaansaama parannus. Lisäksi Google Adsin kaikkien Brand Lift ‑mittareiden yhteydessä näkyy todennäköisyysväli, joka on tulosten arvioitu vaihteluväli. Välin ylä- ja alaraja vastaavat parannuksen todennäköistä ylintä ja alinta arvoa. Tulosparannuksissa käytetään 80-prosenttisia kaksipuolisia todennäköisyysvälejä, mikä tarkoittaa, että todellinen parannus on 80 %:n todennäköisyydellä ala- ja ylärajan sisällä. Tämä tarkoittaa myös, että parannus on 90 %:n todennäköisyydellä alarajaa suurempi.

Esimerkki: Brändimielikuvan suhteellinen parannus voi olla esimerkiksi 35 %, joka vastaa piste-ennustetta. Siihen liittyvä todennäköisyysväli puolestaan voi olla esimerkiksi 30–40 %, mikä tarkoittaa, että todellinen parannus on 80 %:n todennäköisyydellä 30 %:n alarajan ja 40 %:n ylärajan välissä. Asian voi ilmaista myös siten, että parannus on 90 %:n todennäköisyydellä suurempi kuin 30 %:n alaraja.

Huom. Jos parannuksen varmuus on alle 90 %, todennäköisyysvälin alaraja on pienempi kuin 0, koska Google ei voi taata yli 90 %:n varmuudella parannuksen olevan positiivinen.


Usein kysyttyä

Voinko valita itse parannuksen vähimmäisvarmuuden? 

Et. Tulokset näytetään aina, jos niiden varmuus on yli 70 %. Jos haluat suuremman rajan (kuten 80 %), hylkää tulokset, jotka eivät vastaa rajaasi. Alle 70 %:n alarajaa ei voi asettaa.

Miten voin lisätä parannuksen varmuutta?

Parannuksen varmuus riippuu mittauksen tarkkuudesta. Voit parantaa mittauksen tarkkuutta näin:
  1. Käytä uudelleenmittausta, niin voit saada lisää kyselyvastauksia. 
  2. Mittaa mainoksen muistamista tai tietoisuutta, jotta saat todennäköisimmin varmuudeltaan suurta parannusta. 
  3. Valitse tilin hallinnoijan kanssa mainoskampanjoita, joissa on eniten parannusta.

Mistä saan lisätietoa parannuksen varmuuden laskemisesta?

Kyselyissä on aina jonkin verran satunnaisuutta, mikä voi aiheuttaa datavaihtelua. Tätä kutsutaan usein satunnaisvaihteluksi. Satunnaisvaihtelu voi johtaa siihen, että Brand Lift ‑mittaustulos on positiivinen, vaikka mainokset eivät todellisuudessa saisi aikaan parannusta. P-arvo kertoo, kuinka todennäköisesti mitattu parannus voi johtua vaihtelusta, jos mainokset eivät ole saaneet aikaan parannusta. Jos p-arvo on hyvin alhainen, on hyvin epätodennäköistä, että mitattu parannus johtui satunnaisvaihtelusta. On myös varmaa, että mainoskampanjat ovat aiheuttaneet parannusta.
Parannuksen varmuus lasketaan kaavalla "1 − p-arvo" ja ilmaistaan prosentteina. Mitä suurempi luku on (ja mitä pienempi p-arvo on), sitä varmempaa on, että parannus johtuu mainoksista. 
Esimerkki 1: Mainoksessa näkyy 5 %:n absoluuttinen parannus, p-arvo = 0,01. Tämä tarkoittaa, että satunnaisen mittausvaihtelun vuoksi on mahdollista nähdä 5 %:n parannus. Voidaankin sanoa suurella varmuudella (99 %), että parannus on mainoksen aikaansaama. 

 

Esimerkki 2: Mainoksessa näkyy 5 %:n absoluuttinen parannus, p-arvo = 0,35. Tämä tarkoittaa, että satunnaisen mittausvaihtelun vuoksi on 35 %:n mahdollisuus saada 5 %:n parannus. Riittävän luotettavien todisteiden puuttuessa onkin hyvin epävarmaa (65 %), että mainos on aiheuttanut parannusta.

Miksi parannus on epävarma segmenteissä?

Kun dataa ryhmitellään segmenttien mukaan (esim. kampanjoiden mukaan), kukin segmentti sisältää vain osan kaikista kyselyvastauksista. Koska yksittäisissä segmenteissä on vähemmän kyselyvastauksia kuin koko tutkimuksessa, on todennäköisesti vaikeampi havaita parannusta suurella varmuudella. Huomaa, että jos jonkin segmentin tavoittavuus on parempi kuin toisen (esim. jos yhdellä kampanjalla on suurempi budjetti kuin toisella), siihen kertyy enemmän kyselyvastauksia ja sillä on todennäköisesti suurempi varmuus parannuksesta, vaikka kyseisen segmentin parannus voi olla pienempikin. Parannuksen tunnistaminen on haastavinta segmenteissä, joilla on pienin tavoittavuus.

Mistä saan varmuuden eri segmenteissä?

Parannusraportissa on kaavioiden alla laajennettava taulukko. Taulukosta näet kaikki parannusmittarit, myös parannuksen varmuuden.

Mistä löydän todennäköisyysvälit?

Todennäköisyysvälit sisältyvät parannuskaavioihin, ja voit tarkistaa ne viemällä hiiren taulukoissa olevien parannustulosten päälle. Kaavioista voit tarkistaa, kuinka paljon epävarmuutta mittauksessa on. Lisäksi segmenttejä vertailemalla voit tarkistaa nopeasti, ovatko kahden segmentin todennäköisyysvälit päällekkäisiä. Mitä suurempi päällekkäisyys on, sitä epätodennäköisempää on, että jokin segmentti on toista parempi. Kaikissa kaavioissa todennäköisyysvälit on rajattu nollaan, mutta löydät tarkat arvot viemällä hiiren taulukoissa olevien parannustulosten päälle.

Aiheeseen liittyviä linkkejä

Oliko tästä apua?

Miten sivua voisi parantaa?
Haku
Tyhjennä haku
Sulje haku
Päävalikko
5231008600065474074
true
Ohjekeskushaku
true
true
true
true
true
73067
false
false
false