Per gli utenti abituati agli approcci frequentisti

Contenuti di questo articolo:

I metodi frequentisti non sono sufficienti?

Molte volte sì e, se conduci dei test clinici e non si verifica nessun episodio di pirateria dei valori p, sicuramente lo saranno. Ma la maggior parte dei metodi frequentisti fornisce dei valori p-valori e degli intervalli di fiducia che ignorano qualsiasi altro effetto e non rispondono direttamente alle domande reali dei tester. Se effettui dei test più complessi, ad esempio mirati all'individuazione della variante con maggiori probabilità di essere la migliore o se vuoi prendere in considerazione le fluttuazioni reali del comportamento degli utenti, l'approccio di Optimize offre numerosi vantaggi.

Un momento... non è previsto un requisito relativo alla dimensione del campione?

No. A differenza degli approcci frequentisti, l'inferenza bayesiana non necessita di un campione di dimensioni minime. Se i tassi di conversione sono realmente coerenti (e coerentemente diversi) con un traffico ridotto, puoi trovare comunque dei risultati utilizzabili. Puoi eseguire degli esperimenti una sezione del tuo sito che non riceve molto traffico e il nostro approccio ci consente di gestire bene questi casi. Ciò potrebbe sembrare strano se sei abituato a dei requisiti relativi alle dimensioni dei campioni molto più grandi, ma è uno dei vantaggi offerti dal nostro approccio.

Quale livello di fiducia viene utilizzato?

I nostri intervalli rappresentano l'intervallo del 95% in cui è probabile che rientrino i tuoi tassi di conversione reali, anche se puoi passare il mouse sopra gli intervalli di miglioramento per visualizzare i valori mediani e dell'intervallo del 50%.

Viene utilizzato un test-t a una o a due code?

Nessuno dei due. L'inferenza bayesiana, l'approccio che usiamo, non si basa su questo concetto.

Ma, tramite i valori p e quelli di pertinenza non è possibile ricavare la probabilità con cui la variante può superare il mio controllo?

No. La definizione del valore p è: la probabilità di ottenere dei risultati almeno tanto estremi quanto quelli osservati, supposta vera l'ipotesi nulla, dove l'ipotesi nulla nel test A/B è che la variante e il controllo sono gli stessi.

È difficile spiegare i valori p in modo intuitivo. Il famoso blog politico degli Stati Uniti FiveThirtyEight, ha analizzato la questione arrivando alla conclusione seguente: "Puoi fare qualcosa in modo corretto o in modo intuitivo, ma è impossibile farla in entrambi i modi." Nonostante vi siano numerosi malintesi sui valori p, in sintesi possiamo affermare che i valori p da soli non danno le informazioni cercate da molti tester A/B. Anche in combinazione con dati aggiuntivi, i valori p possono essere facilmente interpretati in modo errato.

Questo articolo delle domande frequenti fa parte di una serie di articoli delle domande frequenti sulle statistiche e la metodologia di Optimize. Di seguito sono riportate le altre domande frequenti:

È stato utile?
Come possiamo migliorare l'articolo?

Hai bisogno di ulteriore assistenza?

Accedi per scoprire altre opzioni di assistenza che ti consentiranno di risolvere rapidamente il tuo problema