Optimize-Berichte

Was ist ein Glaubwürdigkeitsintervall?

Bevor Sie diesen Artikel lesen, sollten Sie sich mit diesem Konzept vertraut machen.

Das Glaubwürdigkeitsintervall ist der Bereich möglicher Werte für das Testziel einer Messung. Bei einem Test ist der wahre Wert des Ziels nicht bekannt, da nur eine Stichprobe der Websitezugriffe analysiert wird. Der Bereich der möglichen Werte basiert auf dieser analysierten Stichprobe.

Glaubwürdigkeitsintervall: Es besteht eine Wahrscheinlichkeit von X %, dass der tatsächliche Wert innerhalb des Glaubwürdigkeitsintervalls von X % liegt.

Beispiele

  • Glaubwürdigkeitsintervall von 95 %: Es besteht eine Wahrscheinlichkeit von 95 %, dass der tatsächliche Wert Ihres Ziels im Glaubwürdigkeitsintervall von 95 % liegt.
  • Glaubwürdigkeitsintervall von 50 %: Es besteht eine Wahrscheinlichkeit von 50 %, dass der tatsächliche Wert Ihres Ziels im Glaubwürdigkeitsintervall von 50 % liegt.

Wie Glaubwürdigkeitsintervalle in Optimize verwendet werden

In Optimize-Analysen werden Glaubwürdigkeitsintervalle bei zwei unterschiedlichen Werten angegeben: einmal bei der geschätzten Conversion-Rate (auch "geschätzter Zielwert" genannt) und dann bei der geschätzten Verbesserung. Auch wenn sie unterschiedlich dargestellt werden, sind sie beide Glaubwürdigkeitsintervalle.

In der Optimize-Analyse sind sowohl das Glaubwürdigkeitsintervall mit 95 % als auch das mit 50 % enthalten. Bei dem äußeren Bereich, also dem Glaubwürdigkeitsintervall von 95 %, besteht eine Wahrscheinlichkeit von 95 %, dass das Testziel innerhalb des Glaubwürdigkeitsintervalls liegt.

Das Testintervall für die geschätzte Conversion-Rate sieht in Optimize so aus:

Geschätzte Conversion-Rate

In der Optimize-Analyse wird das Glaubwürdigkeitsintervall als symmetrischer Bereich dargestellt (siehe Diagramm oben). Die verbleibende Wahrscheinlichkeit von 5 % wird gleichmäßig oberhalb und unterhalb des Intervalls verteilt. Der Wert des Testziels liegt also mit einer Wahrscheinlichkeit von 2,5 % unter der Untergrenze des Glaubwürdigkeitsintervalls. Die Wahrscheinlichkeit, dass er über der Obergrenze des Glaubwürdigkeitsintervalls liegt, beträgt ebenfalls 2,5 %.

Für Statistikfans

Man kann diese Berechnung sogar noch weiterführen. So liegt beispielsweise der tatsächliche Wert des Testziels mit einer Wahrscheinlichkeit von 22,5 % zwischen der Untergrenze des Glaubwürdigkeitsintervalls von 95 % und der Untergrenze des Glaubwürdigkeitsintervalls von 50 %. Das ist aber wirklich nur für die Nerds interessant, die Statistik und Mathematik so sehr lieben wie wir.

Geschätzte Verbesserung

Die geschätzte Verbesserung ist die relative Steigerung bei einer Variante im Vergleich zur ursprünglichen Variante. Sie wird ebenfalls als Glaubwürdigkeitsintervall dargestellt, aber in einem etwas anderen Format.

Geschätzte Verbesserung

In Optimize-Berichten werden in der Spalte "Geschätzte Verbesserung" die Ergebnisse mit einem Glaubwürdigkeitsintervall von 95 % aufgelistet. Das Glaubwürdigkeitsintervall von 50 % wird angezeigt, wenn Sie den Mauszeiger auf die Ergebnisse bewegen. Die Glaubwürdigkeitsintervalle von Optimize enthalten eine Wahrscheinlichkeitsangabe für den Bereich wahrscheinlicher Werte in einem Test.

Aber das klingt doch wie ein Konfidenzintervall! Was genau ist der Unterschied?

Bei frequentistischen Methoden ist ein Konfidenzintervall ein Wert für die Wahrscheinlichkeit, dass das vorliegende Intervall den Wert des Testziels (oder der Verbesserung) enthält.

Weitere Informationen zu der Art, wie sich die bayesschen Methoden in Optimize von anderen Tools unterscheiden, finden Sie hier.

Geschätzte Zielrate

Mit der geschätzten Zielrate ist der langfristige Durchschnittswert gemeint, den laut Optimize der Wert des angegebenen Ziels erreichen soll. Wenn Sie beispielsweise einen gewissen Umsatz verzeichnen möchten, wird in Optimize der langfristige durchschnittliche Umsatz pro Sitzung modelliert. Bei Seitenaufrufen wären das die langfristigen durchschnittlichen Seitenaufrufe pro Sitzung.

Weil in Optimize die langfristige Rate geschätzt wird, müssen zwei Dinge bedacht werden:

Wenn Sie Ihre Website online stellen oder sie bearbeiten, um die beste Variante zu verwenden, erzielen Sie eventuell nicht sofort die geschätzte Conversion-Rate. Unter Umständen dauert es so lang wie der entsprechende Test ausgeführt wurde.

Außerdem wird in Optimize davon ausgegangen, dass die Anzahl der Websitezugriffe während des Tests ungefähr der Anzahl entspricht, die nach der Bereitstellung einer Variante erzielt wird. Wenn Sie unter Berücksichtigung der Testergebnisse Ihre Website bereitstellen bzw. aktualisieren, sollten Sie sich also die folgenden Fragen stellen:

  • Gab es während des Tests Besonderheiten, die sich auf die Ergebnisse auswirken könnten?
    • Wurde die Website wesentlich geändert?
    • Gab es einen Beitrag in sozialen Medien, der sich auf ein bestimmtes Produkt ausgewirkt hat?
  • Bestehen Unterschiede zwischen dem Testzeitraum und dem Zeitraum, in dem die Variante live geht?
    • Beispiel: Der Test wurde in einer umsatzschwachen Zeit ausgeführt, während die Variante in der Hochsaison online geht.

Die in den Optimize-Berichten aufgeführte geschätzte Verbesserung ist ein Glaubwürdigkeitsintervall, das den Bereich möglicher Werte für die höhere Leistung einer Variante im Vergleich zur ursprünglichen Variante angibt.

Nehmen wir ein Beispiel.

Bei einem Test erhalten wir die folgenden Daten:

  Conversions Sitzungen Beobachtete Rate
Original 3 10 30 %
Variante 4 10 40 %

Eine einfache Rechnung ergibt, dass die Conversion-Rate um 33 % steigen würde: (40-30)÷30. Ist es jedoch glaubwürdig, dass sich die Conversion-Rate auf Grundlage dieser wenigen Daten tatsächlich um 33 %, also um 10 Prozentpunkte, verbessert?

Wahrscheinlich nicht. Und genau hier kommt das geschätzte Verbesserungsintervall ins Spiel.

Mit diesem Glaubwürdigkeitsintervall wird der Bereich der wahrscheinlichen Verbesserung angegeben. Weil die oben genannte Stichprobe so klein ist, könnte sich ein geschätztes Verbesserungsintervall von (-50 %, 200 %) ergeben.

Das bedeutet, dass Ihre Variante um 50 % schlechter oder gar doppelt so gut wie die ursprüngliche Variante sein könnte. Diese Information ist nicht besonders hilfreich.

Sie sollten einen Test immer mindestens 14 Tage laufen lassen, um Daten von Besuchern unter der Woche und am Wochenende zu erfassen. Dadurch kann der Bereich der möglichen Verbesserungen in Optimize genauer ermittelt werden.

Zielrate im Zeitverlauf

In Optimize wird am Ende von Berichten ein Diagramm angezeigt, in dem sich beobachten lässt, wie sich das Glaubwürdigkeitsintervall des Zielwerts im Lauf der Zeit ändert.

Wichtige Hinweise
 
  • In dem Diagramm lässt sich nicht erkennen, wie sich die Zielraten von Tag zu Tag ändern.
  • In einem Punkt sind jeweils die Daten aller vorherigen Punkte akkumuliert.

Um das Glaubwürdigkeitsintervall für die geschätzte Zielrate zu ermitteln, werden für jeden Punkt im Diagramm die gesamten Daten vom Beginn des Tests an bis zu dem jeweiligen Tag berücksichtigt. Diese Glaubwürdigkeitsintervalle werden täglich berechnet.

Je mehr Daten vorliegen, desto kleiner werden normalerweise die Glaubwürdigkeitsintervalle der langfristigen Zielraten im Zeitverlauf. Mit anderen Worten: Der Wert nähert sich dem tatsächlichen Wert immer mehr an.

War das hilfreich?
Wie können wir die Seite verbessern?