A vázlatok és kísérletek mögötti statisztikai módszertan

Milyen módszerrel számítja ki a vázlatokkal és kísérletekkel foglalkozó csapat a konfidenciaintervallumokat és a statisztikai jelentőséget?

A „jackknife” újramintavételezési módszer használatával adatvödrökben csoportosított adatokból számítják ki a mutatók százalékos változásának mintavételi varianciáját. Ezután kétoldali szignifikanciatesztet futtatnak a 95%-os konfidenciaintervallum használatával.

Mire jó az adatok csoportosítása?

Az adatok csoportosítása csökkenti a kisebb megfigyelési hibák hatását. Ha többet szeretne megtudni arról, hogy miért hasznos az adatcsoportosítás, ez a cikk jó kiindulási pont.

Még akkor is, ha az adatok eloszlása nem normális, a csoportosított adatok nagyjából egyenletesen oszlanak el a Centrális határeloszlás-tétel alapján, feltéve, hogy adatcsoportonként elegendő megfigyelés áll rendelkezésre. Annak érdekében, hogy figyelembe lehessen venni azokat az eseteket, amikor adatcsoportonként nincs elég megfigyelés, a „jackknife” módszert használják a konfidenciaintervallum kiszámításához.

Mire jó a „jackknife” újramintavételezési módszer?

A „jackknife” újramintavételezés a Google szabványmódszere, mivel sokoldalú, és magas szintű lefedettséget biztosít. Ezen kívül hatékonyan kimutatja a kiugró értékeket, és csökkenti a mintán alapuló becslések torzításának mértékét. Továbbá különösen hasznos olyan helyzetekben, amikor nincs elég adat ahhoz, hogy pontos becslést kapjunk a központi határeloszlás-tétel segítségével; ilyen esetekben a „jackknife” módszert a csoportosított adatokon alkalmazva tovább növelhető a konfidenciaintervallum pontossága.

A „jackknife” újramintavételezés általános áttekintése itt olvasható. Ha további információt szeretne kapni a hasznosságáról, ez a dokumentum részletesebb magyarázatot tartalmaz

A külső hirdetők összesíthetik a különböző kísérletek teljesítményét utólag, illetve újraszámíthatják a statisztikai adatokat összesített szinten? 

Nem. A hirdetők nem férnek hozzá a felhasználószintű adatokhoz az adatcsoportok helyreállítása és a „jackknife” algoritmusok futtatása céljából. Jelenleg nem áll rendelkezésre belső eszköz ahhoz, hogy ez az ügyfeleink nevében elvégezhető legyen.

A célzás befolyásolja-e, hogy az aukciós részesedés megosztása alkalmazható-e a kísérleti és az alapkampányra?

A célzás nem befolyásolja a megosztást. A megosztás a célzás előtt kerül alkalmazásra a jogosult aukciókra. Az 50:50 megosztás például azt jelenti, hogy a kísérlet és a kontroll azonos számú aukción vesz részt.

Milyen feltételek mellett biztosítható a valós A/A-teszt?

Az A/A-teszt során a kísérlet és a kontroll megegyezik a teszt időtartama alatt (nincs különbség a kampányok hirdetéseiben/hirdetéscsoportjaiban/beállításaiban stb., és nincs különbség a hirdetések jóváhagyásában). Az A/A-teszt során végzett változtatásokat mind a kísérleti, mind a kontroll ágon egyidejűleg kell elvégezni. 

Melyek az A/A-tesztek várható eredményei?

Ne legyen statisztikailag szignifikáns különbség a kattintásokban, a megjelenítésekben, a CTR-ben vagy a CPC-ben. 

Mi a különbség a keresésalapú megosztás és a cookie-alapú megosztás között?

Ez a két különböző lehetőség választható a felhasználók kezelési módjának eldöntésére. A keresésalapú kísérleti megosztás esetében a felhasználók minden egyes keresés alkalmával véletlenszerűen kerülnek elhelyezésre a kísérletben vagy az eredeti kampányban. Előfordulhat, hogy ugyanaz a felhasználó a kísérletet és az eredeti kampányt is látja, ha több keresést végez. Cookie-alapú kísérleti részek esetén a felhasználók csak az egyik kampányváltozatot láthatják, függetlenül attól, hogy hány keresést indítanak el. Ez segíthet abban, hogy más tényezők ne befolyásolják az eredményeket.

Hány adatcsoportot alkalmaznak?

A kontroll és a kezelési ágon 20-20 adatcsoport kerül alkalmazásra. Túl sok csoport esetében túl sokáig tarthat a statisztikailag szignifikáns eredmények elérése. Ha azonban túl kevés az adatcsoport, előfordulhat, hogy a konfidenciaintervallum számítása pontatlan lesz. Ez a szám egyensúlyt teremt a gyakorlati követelmények és a statisztikai hatékonyság között.

Hasznosnak találta?
Hogyan fejleszthetnénk?

További segítségre van szüksége?

Jelentkezzen be a további támogatási lehetőségek igénybevételéhez, hogy gyorsabban megoldhassa a problémát