Spiegazione dei rapporti Optimize

Che cos'è un intervallo di credibilità?

Comprendere il concetto di intervallo di credibilità è fondamentale per capire quanto segue.

Un intervallo di credibilità è una gamma di valori possibili per l'obiettivo dell'esperimento che stai cercando di misurare. Un esperimento non conosce il vero valore dell'obiettivo perché vede solo un campione del traffico sul sito. L'intervallo di valori possibili si basa su questo campione osservato.

Intervallo di credibilità: esiste una probabilità pari a X% che il valore reale rientri nell'intervallo di credibilità pari a X%.

Esempi

  • Intervallo di credibilità pari al 95%: esiste il 95% di probabilità che il valore reale dell'obiettivo rientri nell'intervallo di credibilità del 95%.
  • Intervallo di credibilità del 50%: esiste il 50% di probabilità che il valore reale dell'obiettivo rientri nell'intervallo di credibilità del 50%.

In che modo Optimize utilizza intervalli di credibilità

L'analisi di Optimize mostra intervalli di credibilità per due aspetti diversi: tasso di conversione modellata (noto anche come "valore obiettivo modellato") e miglioramento modellato. Anche se vengono visualizzati in modo diverso, sono entrambi intervalli di credibilità.

L'analisi di Optimize mostra sia l'intervallo di credibilità del 95% sia quello del 50%. Ciò significa che con l'intervallo esterno (intervallo di credibilità del 95%) puoi affermare che esiste una probabilità del 95% che l'obiettivo dell'esperimento rientri nell'intervallo di credibilità.

L'intervallo del tasso di conversione modellata dell'esperimento viene visualizzato da Optimize nel seguente modo:

tasso di conversione modellata

L'analisi di Optimize rende l'intervallo di credibilità simmetrico come mostrato nel diagramma. Ciò significa che la restante probabilità del 5% viene suddivisa equamente al di sopra e al di sotto dell'intervallo. Possiamo quindi dire che esiste una probabilità del 2,5% che il valore dell'obiettivo dell'esperimento sia minore del limite inferiore dell'intervallo di credibilità. Inoltre, esiste una probabilità del 2,5% che il valore dell'obiettivo dell'esperimento sia maggiore del limite superiore dell'intervallo di credibilità.

Per gli appassionati delle statistiche

Se ti piace fare calcoli, puoi andare anche oltre. Puoi facilmente affermare che esiste il 22,5% di probabilità che il vero valore obiettivo dell'esperimento sia compreso tra il limite inferiore dell'intervallo di credibilità del 95% e il limite inferiore dell'intervallo di credibilità del 50%. Ma queste informazioni potrebbero essere interessanti solo per gli amanti dei dati come noi.

Miglioramento modellato

Il miglioramento modellato è l'incremento relativo di una variante rispetto alla base di riferimento. Viene visualizzato anche come intervallo di credibilità, ma in un formato leggermente diverso.

miglioramento modellato

La colonna del miglioramento modellato nei rapporti Optimize mostra i risultati rispetto all'intervallo di credibilità del 95%. Quando passi il mouse sopra i risultati viene visualizzato l'intervallo di credibilità del 50%. Gli intervalli di credibilità di Optimize forniscono una indicazione di probabilità sull'intervallo di valori possibili in un esperimento.

Sembra però un intervallo di confidenza. Qual è la differenza?

Se utilizzato in metodi frequentisti, un intervallo di confidenza è una probabilità che l'intervallo presentato contenga il valore dell'obiettivo dell'esperimento (o miglioramento).

Leggi ulteriori informazioni sulle differenze tra i metodi bayesiani di Optimize e gli altri strumenti.

Tasso obiettivo modellato

Il tasso obiettivo modellato rappresenta la media a lungo termine del punto in cui Optimize prevede che venga raggiunto il valore dell'obiettivo specificato. Ad esempio, se l'obiettivo riguarda le entrate, Optimize sta modellando le entrate medie nel lungo periodo per sessione. Per le visualizzazioni di pagina, invece, la modellazione riguarda la media di visualizzazioni di pagina a lungo termine per sessione.

Poiché Optimize sta modellando il tasso a lungo termine, sono due i punti da evidenziare:

In primo luogo, se esegui il deployment o l'aggiornamento del tuo sito in modo che rifletta la variante vincente, potresti non raggiungere immediatamente il tasso di conversione modellata. Potrebbe richiedere tutto il tempo necessario all'esecuzione dell'esperimento.

In secondo luogo, Optimize presume che il traffico del sito durante l'esperimento sia simile a quello dopo il deployment di una variante. Durante l'esecuzione del deployment o dell'aggiornamento del sito in base ai risultati del test, poniti le seguenti domande:

  • Durante l'esperimento si è verificato un evento unico che potrebbe influire sui risultati?
    • Ad esempio, il sito aziendale è stato modificato in modo significativo?
    • Oppure c'era un post sui social media che ha interessato un determinato prodotto?
  • Il periodo dell'esperimento ha caratteristiche diverse rispetto a quando verrà eseguito il deployment della variante?
    • Ad esempio, l'esperimento è stato eseguito in un momento di scarsa attività mentre il deployment coincide con il periodo di punta.

Il miglioramento modellato che appare nei rapporti di Optimize è un intervallo di credibilità che mostra la gamma di possibili valori indicativi di quanto una variante migliori il rendimento rispetto alla base di riferimento.

Facciamo un esempio.

Ecco i dati visualizzati durante l'esperimento:

  Conversioni Sessioni Tasso osservato
Originale 3 10 30%
Variante 4 10 40%

Un semplice calcolo di (40-30) / 30 dà come risultato un aumento del 33% dei tassi di conversione. Ma pensiamo davvero che, in base alle osservazioni su questo piccolo insieme di dati, il tasso di conversione migliorerà in realtà del 33%, ovvero 10 punti percentuali del tasso di conversione?

Probabilmente no. È qui che risulta utile l'intervallo di miglioramento modellato.

Questo intervallo di credibilità mostrerà la gamma del possibile miglioramento. Poiché il campione sopra indicato è così piccolo, il nostro esempio ipotetico potrebbe mostrare un intervallo di miglioramento modellato simile a questo: (-50%, 200%).

Questo dato indica che la variante potrebbe essere peggiore del 50% o migliore del doppio rispetto all'originale, informazione non particolarmente utile.

L'esperienza dovrebbe sempre durare almeno 14 giorni, in modo da acquisire dati dai visitatori durante la settimana e nel fine settimana. In questo modo Optimize può limitare la gamma dei possibili miglioramenti.

Tasso obiettivo nel tempo

Nella parte inferiore dei rapporti di Optimize è riportato un grafico temporale, che illustra le variazioni nel tempo dell'intervallo di credibilità del valore obiettivo.

Importante
 
  • Questo grafico non mostra in che modo i tassi obiettivo cambiano giorno per giorno.
  • Ogni punto di questo grafico accumula tutti i dati precedenti.

In ogni punto del grafico, i dati totali dell'esperimento, dall'inizio fino al giorno indicato, vengono utilizzati per creare l'intervallo di credibilità del tasso obiettivo modellato. Questi intervalli di credibilità vengono poi visualizzati man mano che vengono calcolati ogni giorno.

Man mano che vengono raccolti sempre più dati, gli intervalli di credibilità per le tariffe obiettivo "a lungo termine" dovrebbero ridursi nel tempo. Ciò significa che dovrebbero dare un valore sempre più preciso rispetto al valore reale.

È stato utile?
Come possiamo migliorare l'articolo?

Hai bisogno di ulteriore assistenza?

Accedi per scoprire altre opzioni di assistenza che ti consentiranno di risolvere rapidamente il tuo problema