Milliseid meetodeid kasutab katsete tiim usaldusvahemike ja statistilise olulisuse arvutamiseks?
Valimitesse jaotatud andmete puhul rakendatakse jack-knife-meetodil taasvalikut, et arvutada mõõdiku protsentuaalse muutuse näidisvariatsioon. Seejärel käitatakse 95% usaldusvahemikuga bilateraalne olulisuse test.
Miks andmeid valimiteks jaotada?
Andmete valimiteks jaotamisega vähendatakse väikeste vaatlusvigade mõju. Kui soovite andmete valimiteks jaotamise kasutegurite kohta lisateavet, võiksite alustada siit.
Isegi kui andmeid tavapäraselt ei jaotata, jaotatakse valimiteks jaotatud andmeid tavapäraselt tsentraalse piirteoreemi järgi, kui valimi kohta on piisavalt jälgitud andmeid. Selleks et arvestada ka juhtumeid, kus valimi kohta ei ole piisavalt jälgitud andmeid, kasutatakse usaldusvahemiku arvutamiseks jack-knife-meetodit.
Miks kasutada jack-knife-meetodil taasvalikut?
Jack-knife-meetodil taasvalik on Google'i standardlahendus, kuna see on paindlik meetod, mis katab laia andmehulga. See on tõhus ka kõrvalekallete tuvastamisel ja valiku prognoosi kõrvalekallete vähendamisel. Lisaks on see eriti kasulik olukordades, kus pole piisavalt andmeid, et tsentraalse piirteoreemi abil saada täpset prognoosi. Seega kasutatakse seda valimiteks jaotatud andmete puhul selleks, et usaldusvahemike täpsust veelgi suurendada.
Üldise ülevaate jack-knife-meetodil taasvaliku kohta leiate siit. Kui soovite lisateavet selle kasuteguri kohta, leiate sellest dokumendist täpsema selgituse.
Kas välised reklaamijad saavad pärast katset koondada mitme katse toimivusandmed ja arvutada statistilika uuesti koondtasemel?
Ei, reklaamijatel ei ole juurdepääsu kasutaja tasemel andmetele, et luua uuesti valimeid ja käitada jack-knife-algoritme. Praegu ei paku me sisemisi tööriistu, millega klientide nimel selliseid toiminguid teha.
Kas sihtimine mõjutab seda, kuidas oksjoni osakaalu jaotus katsele ja algsele kampaaniale rakendatakse?
Sihtimine ei mõjuta jaotust. Jaotus rakendatakse sobilikele oksjonitele enne sihtimise rakendamist. Jaotuse 50:50 puhul tähendab see, et katse ja originaal lisatakse samale hulgale oksjonitele.
Millised tingimused tagavad tõese A/A-testi?
A/A-test on test, kus katse ja originaal on testi vältel identsed (kampaania reklaamides, reklaamirühmades ega seadetes ning reklaamide kinnitamises ei ole erinevusi). Kõik muudatused, mis A/A-testi ajal tehakse, tuleb samal ajal teha nii katse kui ka originaali puhul.
Mis on A/A-testi eeldatavad tulemused?
Klikkide, näitamiste, CTR-i ega CPC arvudes ei tohiks olla statistiliselt märkimisväärseid erinevusi.
Mille poolest erinevad otsingupõhine jaotus ja küpsisefailipõhine jaotus?
Kasutajale rakendatava toimingu puhul on kaks valikut. Otsingupõhiste katsejaotuste puhul asetatakse kasutajad iga otsingu korral juhuslikult katse- või kontrollkampaaniasse. Kui kasutaja teeb mitu otsingut, siis on võimalik, et sama kasutaja võib näha nii katset kui ka algset kampaaniat. Küpsisefailidel põhineva katsejaotuse puhul võivad kasutajad näha ainult ühte teie kampaania versiooni, olenemata sellest, kui mitu korda nad otsivad. See aitab tagada, et tulemusi ei mõjuta muud tegurid.
Kui mitut valimit kasutatakse?
Nii kontrolli kui ka katse puhul kasutatakse 20 valimit. Kui valimeid on liiga palju, siis võib statistiliselt oluliste tulemuste saamiseks kuluda liiga palju aega. Kui valimeid on liiga vähe, siis ei pruugi usaldusvahemike arvutused olla täpsed. 20 valimiga saavutatakse hea tasakaal praktiliste nõuete ja statistilise võimekuse vahel.
