Concetti avanzati

Contenuti di questo articolo:

Ho sentito che le distribuzioni a priori bayesiane sono pericolose nei test A/B. Si parte dal presupposto che una variante specifica sia la vincitrice?

No, si tratta di un errore comune. Per quanto riguarda le varianti vincitrici e i tassi di conversione, facciamo del nostro meglio per utilizzare delle distribuzioni a priori non informative, ovvero distribuzioni a priori con la minore influenza possibile sui risultati dell'esperimento.

A volte usiamo delle distribuzioni a priori informative, ma queste ultime hanno più a che fare con la velocità con cui i risultati di una variante possono convergere, cosa che ci aiuta a trovare dei risultati affidabili per i test a traffico ridotto.

Che cosa è la distribuzione a priori bayesiana?

Le distribuzioni a priori bayesiane sono convinzioni modellate sul comportamento previsto di una variante o un esperimento. Quando vengono aggiunti i dati, la distribuzione a priori viene unita a questi ultimi per formare una distribuzione a posteriori, ovvero il risultato. Man mano che vengono aggiunti più dati, si dice che la distribuzione a priori viene "superata", fino ad assumere sempre minor importanza. In Optimize, utilizziamo diverse distribuzioni a priori. Man mano che vengono aggiunti più dati, l'influenza della distribuzione a priori si affievolisce.

Nonostante la nomenclatura, tuttavia, le distribuzioni a priori non derivano necessariamente da dati precedenti; vengono semplicemente utilizzate come input logici nei nostri modelli.

Molte delle distribuzioni a priori che usiamo sono non informative: in altre parole, non hanno una grande influenza sui risultati. Utilizziamo delle distribuzioni a priori non informative per i tassi di conversione, ad esempio, perché non presumiamo di conoscere il rendimento di una nuova variante prima di averne analizzato i dati.

Tuttavia, usiamo anche alcune distribuzioni a priori più informative, ad esempio nei modelli gerarchici. In questi modelli, utilizziamo le distribuzioni a priori, tramite le quali è possibile trovare più rapidamente i risultati degli esperimenti con un rendimento realmente coerente. Naturalmente, se i dati di un esperimento non sono coerenti, supereranno rapidamente la distribuzione a priori che perderà sempre di più influenza man mano che vengono aggiunti altri dati.

È importante sottolineare che il termine "distribuzione a priori" potrebbe suggerire che vengono utilizzati dei dati precedenti di Google Analytics. Anche se ciò potrebbe essere possibile, oggi non utilizziamo questi dati.

Quali tipi di modelli vengono utilizzati?

Usiamo diversi modelli per diversi obiettivi, a seconda del loro comportamento. Analizziamo inoltre costantemente nuovi modelli per aiutarti a trovare i risultati più precisi il più rapidamente possibile.

Puoi fornirmi delle procedure guidate del processo di analisi?

Il processo varia leggermente a seconda dell'obiettivo e del metodo di misurazione, ma si basa su queste linee guida:

  1. Raccolta dei dati sugli hit non elaborati nel back-end di Google Analytics.
  2. Aggregazione dei dati sugli esperimenti, spesso in un formato modificato, a seconda dell'obiettivo. Ad esempio, in base alle esigenze, eseguiamo delle trasformazioni logaritmiche su alcune metriche prima di procedere con l'aggregazione.
  3. I dati aggregati giornalieri vengono immessi nel sistema di elaborazione delle statistiche.
  4. Tramite questi dati aggregati, stimiamo l'area di distribuzione del tasso di conversione utilizzando l'approccio Catena di Markov Monte Carlo (MCMC) e campionando al contempo i risultati.
  5. Dal confronto di un numero molto elevato di campioni di tali distribuzioni (chiamati anche bozze), siamo in grado di creare delle statistiche. Ad esempio, le statistiche Probabilità di superare l'originale e Probabilità di essere il migliore vengono create tramite l'analisi del numero di bozze in cui una variante rispettivamente supera l'originale o tutte le altre varianti.

Il test multivariato è frazionato o fattoriale completo?

Il test multivariato è tra i test più efficienti che è possibile eseguire. Di seguito è riportata innanzitutto una breve panoramica di questi termini:

  • Un test multivariato può essere considerato come una combinazione di due o più test A/B, in cui è possibile variare più parti dell'esperienza dell'utente (ciascuna parte è chiamata fattore, elemento o sezione) per produrre delle combinazioni diverse. Ad esempio, un test multivariato può includere due fattori, il titolo e l'immagine hero, ognuno dei quali presenta più varianti. Puoi quindi eseguire un test di due titoli e tre immagini hero per scoprire quale delle sei combinazioni funziona meglio e se sono presenti delle interazioni positive o negative.
  • Un test multivariato fattoriale completo mostra agli utenti tutte le combinazioni. Queste possono essere analizzate semplicemente come dei test A/B di grandi dimensioni, anche se, con l'aumento del numero delle sezioni, il numero delle combinazioni cresce in modo esponenziale. Potrebbe quindi essere necessario molto tempo per raccogliere dati sufficienti per ottenere risultati validi. Il vantaggio, tuttavia, è che sarà possibile ottenere dei dati sul rendimento di tutte le combinazioni.
  • Un test multivariato fattoriale frazionato mostra e analizza soltanto un sottoinsieme di combinazioni. Ciò consente di trovare i risultati più rapidamente. Tuttavia, se la combinazione migliore reale non è stata mostrata, non potrai sapere se il rendimento di quest'ultima sarebbe stato migliore senza eseguire un test di follow-up.

I nostri modelli ci consentono di utilizzare un approccio ibrido che elimina la necessità di questi compromessi. Vengono mostrate tutte le combinazioni di un test, per consentirti di ottenere dei dati sulle interazioni e sulle combinazioni migliori. Ma, inoltre, descriviamo il fatto che alcune varianti possano comparire in più combinazioni e pertanto è possibile ottenere dei dati sulle varianti all'interno di un fattore e non soltanto all'interno delle combinazioni.

Questo articolo delle domande frequenti fa parte di una serie di articoli delle domande frequenti sulle statistiche e la metodologia di Optimize. Di seguito sono riportate le altre domande frequenti:

È stato utile?
Come possiamo migliorare l'articolo?

Hai bisogno di ulteriore assistenza?

Accedi per scoprire altre opzioni di assistenza che ti consentiranno di risolvere rapidamente il tuo problema