Den statistiske metode, der benyttes til eksperimenter

Hvilken metode bruger eksperimentteamet til at beregne konfidensintervaller og statistisk signifikans?

Der anvendes såkaldt "jackknife-resampling" på grupperede data for at beregne stikprøvevariansen for den procentvise ændring af en metric. Derefter køres der en dobbeltsidet signifikanstest ved hjælp af konfidensintervallet på 95 %.

Hvorfor er det en fordel at gruppere dataene?

Ved at gruppere dataene reduceres følgerne af mindre observationsfejl. Hvis du gerne vil vide mere om, hvorfor det er praktisk at inddele data, er dette et godt sted at starte.

Selvom dataene ikke er normalt distribueret, vil de grupperede data være nogenlunde normalt distribueret baseret på Den centrale grænseværdisætning, hvis der er nok observationer pr. gruppe. Jackknife-metoden bruges til at beregne konfidensintervallet, så det er muligt at tage højde for de tilfælde, hvor der ikke er nok observationer pr. gruppe.

Hvorfor er det en fordel at bruge Jackknife-resampling?

Jackknife-resampling er standarden hos Google, da det er en alsidig metode, der giver et højt dækningsniveau. Metoden er også effektiv til at registrere afvigelser og reducere påvirkningen af stikprøveestimatet. Derudover er den særligt nyttig i de situationer, hvor der ikke er nok data til at få en nøjagtig beregning ved hjælp af den centrale grænseværdisætning. Her bruges den på de grupperede data for at øge nøjagtigheden af konfidensintervallerne yderligere.

Du kan se en generel oversigt over Jackknife-resampling her. Hvis du vil have en mere dybdegående forklaring af metodens anvendelighed, kan du læse denne artikel.

Kan eksterne annoncører samle effektiviteten fra flere eksperimenter efter det faktum og genberegne statistikken på det samlede niveau?

Nej, annoncører har ikke adgang til data på brugerniveau, så de kan oprette nye grupper og køre jackknife-algoritmen. I øjeblikket er der ingen interne værktøjer, der kan bruges til at gøre dette på vegne af vores kunder.

Har målretningen betydning for, hvor stor en auktionsandel henholdsvis eksperimentet og den oprindelige kampagne får tildelt?

Målretningen har ingen betydning for fordelingen. Fordelingen anvendes på kvalificerede auktioner, inden målretningen anvendes. Eksempelvis betyder en fordeling på 50/50, at eksperimentet og den oprindelige kampagne deltager i lige mange auktioner.

Hvilke betingelser skal være opfyldt for at sikre en retvisende A/A-test?

En A/A-test er en test, hvor eksperimentet og den oprindelige kampagne er ens under hele testen (alle kampagneannoncer/annoncegrupper/indstillinger osv. er helt ens, og der er ingen forskelle mht. annoncegodkendelse). Hvis der foretages ændringer i løbet af A/A-testen, skal de anvendes både på eksperimentet og den oprindelige kampagne samtidigt.

Hvad er de forventede resultater af en A/A-test?

Der bør ikke være nogen statistisk signifikante forskelle i klik, eksponeringer, CTR eller CPC.

Hvad er forskellen mellem søgebaseret split og cookiebaseret split?

Dette er to forskellige muligheder, som afgør, hvilke behandling en bruger modtager. Hvis du vælger søgebaserede eksperimentsplit, får brugerne enten vist eksperimentet eller den oprindelige kampagne efter et tilfældighedsprincip, når de foretager en relevant søgning. Brugerne får muligvis både vist eksperimentet og den oprindelige kampagne, hvis de søger flere gange. Med cookiebaserede eksperimentsplit ser brugere muligvis kun én version af din kampagne, uanset hvor mange gange de søger. Det kan være med til at sikre, at andre faktorer ikke påvirker dine resultater.

Hvor mange grupper bruges?

Der bruges 20 grupper på kontrolsiden og 20 grupper på behandlingssiden. Hvis der er for mange grupper, kan det tage for lang tid at få statistisk signifikante resultater. Hvis der er for få grupper, kan det bevirke, at beregningerne af konfidensintervallet er unøjagtige. Dette trækker en god balance mellem praktiske krav og statistisk effekt.

Var disse oplysninger nyttige?

Hvordan kan vi forbedre siden?
true
Achieve your advertising goals today!

Attend our Performance Max Masterclass, a livestream workshop session bringing together industry and Google ads PMax experts.

Register now

Søgning
Ryd søgning
Luk søgning
Google-apps
Hovedmenu
6971057586148061738
true
Søg i Hjælp
true
true
true
true
true
73067
false
false
false