Koju metodu tim za eksperimente koristi za izračunavanje intervala pouzdanosti i statističkog značaja?
Jackknife metoda primjenjuje se na segmentirane podatke za izračunavanje odstupanja uzorka od postotne promjene mjernog podatka. Potom se provodi dvosmjerno testiranje značaja korištenjem intervala pouzdanosti od 95%.
Zašto segmentirati podatke
Segmentiranje podataka smanjuje utjecaje manjih pogrešaka opažanja. Ako želite saznati više o tome zašto je segmentiranje podataka korisno, ovo je dobro mjesto za početak.
Čak i ako podaci nisu normalno distribuirani, segmentirani podaci bit će približno normalno distribuirani na temelju centralnog graničnog teorema, uz uvjet da postoji dovoljno opažanja po segmentu. Da bi se u obzir uzeli slučajevi kod kojih ne postoji dovoljno opažanja po segmentu, za izračunavanje intervala pouzdanosti koristi se Jackknife metoda.
Zašto koristiti Jackknife metodu?
Jackknife metoda standardna je u Googleu jer se radi o univerzalnoj metodi koja osigurava visoku razinu pokrivenosti. Također je učinkovita za otkrivanje netipičnih vrijednosti i za smanjenje razlika u procjeni uzorka. Nadalje, vrlo je korisna u situacijama u kojima ne postoji dovoljno podataka za dobivanje točne procjene pomoću centralnog graničnog teorema, pa se koristi na segmentiranim podacima za dodatno povećanje točnosti naših intervala pouzdanosti.
Ovdje možete pronaći opći pregled Jackknife metode. Ako želite dodatna objašnjenja njezine korisnosti, u ovom članku nalazi se više pojedinosti.
Mogu li vanjski oglašivači naknadno agregirati izvedbu višestrukih eksperimenata i ponovno izračunati statističke podatke na agregiranoj razini?
Ne. Oglašivači nemaju pristup podacima na razini korisnika da bi ponovno izradili segmente i pokrenuli jackknife algoritam. Trenutačno za takvo što ne postoje interni alati koje bismo mogli upotrijebiti u ime svojih klijenata.
Utječe li ciljanje na način na koji se podjela udjela dražbe primjenjuje na eksperiment i na izvornu kampanju?
Ciljanje ne utječe na podjelu. Podjela se primjenjuje na dražbe koje ispunjavaju kriterije prije primjene ciljanja. Na primjer, podjela 50:50 znači da su eksperimentalni i izvorni krak ušli u isti broj dražbi.
Koji su uvjeti za osiguravanje stvarnog A/A testa?
A/A je test u kojem su eksperimentalni i izvorni krak identični tijekom trajanja testa (nema razlike u oglasima kampanje/grupama oglasa/postavkama itd. ni u odobrenjima oglasa). Sve izmjene uvedene tijekom A/A testa trebat će se istodobno uvesti u eksperimentalni i izvorni krak.
Koji su očekivani rezultati A/A testa?
Ne smije postojati statistički značajna razlika u klikovima, pojavljivanjima, CTR-u ili CPC-u.
Koja je razlika u udjelu na temelju pretraživanja i udjelu na temelju kolačića?
To su dvije različite opcije za odlučivanje o tome koji će postupak korisnik dobiti. S eksperimentalnim udjelima na temelju pretraživanja korisnici se nasumično postavljaju u eksperiment ili izvornu kampanju pri svakom pretraživanju. Moguće je da se istom korisniku prikaže eksperiment i vaša izvorna kampanja ako više puta izvrši pretraživanje. Uz eksperimentalne udjele na temelju kolačića korisnici mogu vidjeti samo jednu verziju vaše kampanje, bez obzira na broj pretraživanja. To može pomoći u sprječavanju utjecaja drugih čimbenika na vaše rezultate.
Koliko se segmenata koristi?
U kontrolnom kraku koristi se dvadeset segmenata i jednako toliko u kraku postupka. Ako postoji previše segmenata, tada dobivanje statistički značajnih rezultata traje predugo. Ako postoji premalo segmenata, tada izračuni intervala pouzdanosti možda neće biti točni. Ovi brojevi predstavljaju dobru ravnotežu između praktičnih zahtjeva i statističke snage.
