Quale metodo viene utilizzato dal team addetto agli esperimenti per calcolare gli intervalli di confidenza e la significatività statistica?
Il ricampionamento con il metodo jackknife viene applicato a bucket di dati per calcolare la variazione percentuale del campione di una metrica. Il test di significatività a due code viene quindi eseguito utilizzando l'intervallo di confidenza al 95%.
Perché i bucket di dati?
Il bucket di dati riduce l'incidenza di piccoli errori di osservazione. Per saperne di più sull'utilità dei bucket di dati, ecco un buon punto di partenza.
Anche se i dati non vengono distribuiti normalmente, il bucket di dati verrà distribuito come di consueto in base al teorema del limite centrale, a condizione che ci sia un numero di osservazioni sufficiente per ogni bucket. Per prendere in considerazione i casi in cui non si dispone di un numero sufficiente di osservazioni per bucket, si utilizza il metodo jackknife per calcolare l'intervallo di confidenza.
Perché utilizzare il ricampionamento con il metodo jackknife?
Il ricampionamento con il metodo jackknife è uno standard per Google vista la versatilità nel fornire un livello di copertura elevato. È anche efficace per rilevare eventuali anomalie e ridurre il bias della stima campione. Inoltre, è particolarmente utile nelle situazioni in cui non si dispone di un volume sufficiente di dati per avere una stima accurata utilizzando il teorema del limite centrale; pertanto viene utilizzato per il bucket di dati con l'obiettivo di migliorare la precisione degli intervalli di confidenza.
Per una panoramica del ricampionamento col metodo jackknife, fai clic qui. Per ulteriori spiegazioni sulla sua utilità, questo documento fornisce ulteriori dettagli.
Gli inserzionisti esterni possono raggruppare i dati sui risultati di più esperimenti a posteriori e ricalcolare le statistiche a livello aggregato?
No, gli inserzionisti non hanno accesso ai dati a livello di utente per ricreare i bucket e per eseguire nuovamente l'algoritmo jackknife. Al momento, non esistono strumenti interni in grado di eseguire questa operazione per conto dei nostri clienti.
Il targeting influisce sul modo in cui viene applicata la suddivisione della quota dell'asta alla campagna di prova e alla campagna originale?
Il targeting non influisce sulla suddivisione, che viene applicata alle aste idonee prima dell'applicazione del targeting. Ad esempio, una suddivisione 50:50 indica che la campagna di prova e la campagna originale vengono utilizzate nello stesso numero di aste.
Quali sono le condizioni che garantiscono l'attendibilità di un test A/A?
In un test A/A, la campagna di prova e quella originale sono identiche per tutta la durata del test; non ci saranno quindi differenze tra annunci, gruppi di annunci, impostazioni e altri elementi della campagna e tra le approvazioni degli annunci. Tutte le modifiche apportate durante il test A/A devono essere applicate contemporaneamente sia al gruppo sperimentale sia al gruppo originale.
Quali sono i risultati previsti di un test A/A?
Non deve esserci una differenza statisticamente significativa tra clic, impressioni, CTR o CPC.
Qual è la differenza tra segmenti basati sulla ricerca e segmenti basati sui cookie?
Si tratta di due opzioni diverse che consentono di stabilire come verrà applicato l'esperimento agli utenti. Con i segmenti dell'esperimento basati sulla ricerca, gli utenti vengono associati in modo casuale alla campagna originale o a quella di prova ogni volta che viene effettuata una ricerca. È possibile che lo stesso utente veda sia la campagna di prova che la campagna originale se effettua più ricerche. Con i segmenti dell'esperimento basati sui cookie, gli utenti possono vedere solo una versione della tua campagna, indipendentemente dal numero di ricerche. In questo modo ti assicuri che altri fattori non incidano sui risultati.
Quanti bucket vengono utilizzati?
Sia per il gruppo di controllo che per il gruppo sperimentale vengono utilizzati 20 bucket. Con un numero eccessivo di bucket ci vorrebbe troppo tempo per ottenere risultati statisticamente significativi. Con un numero esiguo di bucket, invece, i calcoli dell'intervallo di confidenza potrebbero non essere accurati. Si tratta quindi di un buon compromesso tra requisiti pratici e significabilità statistica.