Für Nutzer, die mit frequentistischen Ansätzen vertraut sind

Themen in diesem Artikel:

Sind frequentistische Methoden nicht ausreichend?

In vielen Fällen schon. Wenn Sie klinische Studien ohne P-Wert-Varianten durchführen, sind frequentistische Methoden definitiv ausreichend. Bei den P-Werten und Konfidenzintervallen vieler frequentistischer Methoden werden jedoch andere Effekte außer Acht gelassen, sodass sie keine Antworten auf die wirklich wichtigen Fragen liefern. Wenn Sie jedoch komplexere Tests durchführen und beispielsweise herausfinden möchten, wie wahrscheinlich eine bestimmte Variante andere Varianten übertrifft, oder wenn Sie tatsächliche Schwankungen im Nutzerverhalten berücksichtigen möchten, hat der von Optimize verwendete Ansatz zahlreiche Vorteile.

Gibt es keine Vorgaben für die Stichprobengröße?

Nein. Anders als für frequentistische Ansätze ist für bayessche Inferenz keine Mindeststichprobengröße erforderlich. Auch für stabile Conversion-Raten (mit stabilen Abweichungen) bei geringem Traffic erhalten Sie sinnvolle Ergebnisse. Möglicherweise möchten Sie einen Test mit einem Bereich Ihrer Website durchführen, auf den nur selten zugegriffen wird – auch für solche Anwendungsfälle ist unsere Methode geeignet. Das mag Ihnen seltsam vorkommen, falls Sie an wesentlich größere Stichprobenvorgaben gewöhnt sind, es ist jedoch tatsächlich einer der Vorteile unseres Ansatzes.

Welches Konfidenzniveau verwenden Sie?

Unsere Intervalle decken den Bereich von 95 % ab, in dem Ihre tatsächlichen Conversion-Raten wahrscheinlich liegen. Wenn Sie den Mauszeiger jedoch auf diesen Verbesserungsbereich bewegen, werden auch der Medianwert und der 50 %-angezeigt.

Verwenden Sie ein- oder beidseitige t-Tests?

Weder noch. Bei der bayesschen Inferenz, die wir für unseren Ansatz verwenden, kommt dieses Konzept nicht zum Einsatz.

Kann ich nicht anhand der Signifikanz und P-Werte erkennen, wie wahrscheinlich eine Variante die Kontrollvariante übertrifft?

Nein. Der P-Wert ist wie folgt definiert: die Wahrscheinlichkeit, mindestens genauso extreme Ergebnisse wie die zuvor beobachteten zu erhalten, vorausgesetzt, die Null-Hypothese ist korrekt, wobei die Null-Hypothese in A/B-Tests bedeutet, dass die Variante und der Kontrollwert identisch sind.

P-Werte lassen sich nur schwerlich auf intuitive Weise erklären. Der beliebte US-amerikanische Politblog "FiveThirtyEight" ist dieser Frage nachgegangen und zu der Erkenntnis gelangt: "Entweder macht man es richtig oder aus dem Bauch heraus, beides geht nicht." Es gibt zahlreiche Missverständnisse zu P-Werten, zusammenfassend lässt sich jedoch sagen, dass P-Werte allein nicht alle Informationen liefern, die Anwender von A/B-Tests benötigen. Selbst in Kombination mit weiteren Daten kann es schnell zu Fehldeutungen kommen.

Dieser Artikel mit häufig gestellten Fragen gehört zu einer Reihe von Artikeln zu Statistiken und Methodik von Optimize:

War dieser Artikel hilfreich?
Wie können wir die Seite verbessern?