Milyen módszerrel számítja ki a kísérletekkel foglalkozó csapat a konfidenciaintervallumokat és a statisztikai jelentőséget?
A „jackknife” újramintavételezési módszer segítségével a csoportosított adatokból számítják ki a mutatók százalékos változásának mintavételi varianciáját. Ezután kétoldali szignifikanciatesztet futtatnak a 95%-os konfidenciaintervallum használatával.
Mire jó az adatok csoportosítása?
Az adatok csoportosítása csökkenti a kisebb megfigyelési hibák hatását. Ha többet szeretne megtudni arról, hogy miért hasznos az adatcsoportosítás, ez a cikk jó kiindulási pont.
Még ha az adatok eloszlása nem is normális, a csoportosított adatok nagyjából egyenletesen oszlanak el a Centrális határeloszlás-tétel alapján, feltéve, hogy adatcsoportonként elegendő megfigyelés áll rendelkezésre. Annak érdekében, hogy figyelembe lehessen venni azokat az eseteket, amikor adatcsoportonként nincs elég megfigyelés, a „jackknife” módszert használják a konfidenciaintervallum kiszámításához.
Mire jó a „jackknife” újramintavételezési módszer?
A „jackknife” újramintavételezés a Google szabványmódszere, mivel sokoldalú, és magas szintű lefedettséget biztosít. Ezen kívül hatékonyan kimutatja a kiugró értékeket, és csökkenti a mintán alapuló becslések torzításának mértékét. Továbbá különösen hasznos olyan helyzetekben, amikor nincs elég adat ahhoz, hogy pontos becslést kapjunk a központi határeloszlás-tétel segítségével; ilyen esetekben a „jackknife” módszert a csoportosított adatokon alkalmazva tovább növelhető a konfidenciaintervallum pontossága.
A „jackknife” újramintavételezés általános áttekintése itt olvasható. Ha további információt szeretne kapni a hasznosságáról, ez a dokumentum részletesebb magyarázatot tartalmaz.
A külső hirdetők összesíthetik a különböző kísérletek teljesítményét utólag, illetve újraszámíthatják a statisztikai adatokat összesített szinten?
Nem. A hirdetők nem férnek hozzá a felhasználószintű adatokhoz az adatcsoportok újbóli létrehozása és a „jackknife” algoritmus futtatása céljából. Jelenleg nem áll rendelkezésre belső eszköz ahhoz, hogy ez az ügyfeleink nevében elvégezhető legyen.
Befolyásolja a célzás, hogy az aukciós részesedés megosztása alkalmazható-e a kísérleti és az eredeti kampányra?
A célzás nem befolyásolja a megosztást. A megosztás a célzás előtt kerül alkalmazásra a jogosult aukciókra. Az 50:50 megosztás például azt jelenti, hogy a kísérlet és az eredeti azonos számú aukción vesz részt.
Milyen feltételek mellett biztosítható a valós A/A-teszt?
Az A/A-teszt során a kísérlet és az eredeti megegyezik a teszt időtartama alatt (nincs különbség a kampányok hirdetéseiben/hirdetéscsoportjaiban/beállításaiban stb., és nincs különbség a hirdetések jóváhagyásában). Az A/A-teszt során végzett változtatásokat mind a kísérleti, mind az eredeti ágon egyidejűleg kell elvégezni.
Melyek az A/A-tesztek várható eredményei?
Ne legyen statisztikailag szignifikáns különbség a kattintásokban, a megjelenítésekben, a CTR-ben vagy a CPC-ben.
Mi a különbség a keresésalapú megosztás és a cookie-alapú megosztás között?
Ez a két különböző lehetőség választható a felhasználók kezelési módjának eldöntésére. A keresésalapú kísérleti megosztás esetében a felhasználók minden egyes keresés alkalmával véletlenszerűen kerülnek elhelyezésre a kísérletben vagy az eredeti kampányban. Előfordulhat, hogy ugyanaz a felhasználó a kísérletet és az eredeti kampányt is látja, ha több keresést végez. Cookie-alapú kísérleti részek esetén a felhasználók csak az egyik kampányváltozatot láthatják, függetlenül attól, hogy hány keresést indítanak el. Ez segíthet abban, hogy más tényezők ne befolyásolják az eredményeket.
Hány adatcsoportot alkalmaznak?
A kontroll és a kezelési ágon 20-20 adatcsoport kerül alkalmazásra. Túl sok csoport esetében túl sokáig tarthat a statisztikailag szignifikáns eredmények elérése. Ha azonban túl kevés az adatcsoport, előfordulhat, hogy a konfidenciaintervallum számítása pontatlan lesz. Ez a szám egyensúlyt teremt a gyakorlati követelmények és a statisztikai hatékonyság között.
