頻度論的アプローチとの違い

この記事の内容:

頻度論的手法では対応できないのですか?

多くの場合は対応可能です。また、臨床試験を実施する場合は、いかなる p 値のハッキングも行ってはなりません。しかし、ほとんどの頻度論的手法では p 値と信頼区間で他のすべての影響が無視されてしまうので、テストの実施者が実際に抱えている疑問の直接的な回答は得られません。たとえば、いずれか 1 つのパターンが最善である確率を確認する場合や、ユーザーの行動に実際に起きている変化を考慮に入れたい場合など、もっと複雑なテストを実施する場合なら、オプティマイズで採用したアプローチを使うことに多くのメリットがあります。

サンプルのサイズに要件はないのですか?

ありません。頻度論的アプローチと異なり、ベイズ推定ではサンプルの最小サイズの要件は必要ありません。トラフィックが少ない場合でも、コンバージョン率が一定であれば(推移に一貫性があれば)、有効なテスト結果を得ることができます。サイトの中でもトラフィックの多くないセクションでテストを実施したい場合は、このアプローチで効果的に対応できます。大量のサンプルが必要なアプローチに慣れている方には違和感があるかもしれませんが、これがオプティマイズが採用したアプローチのメリットの 1 つです。

どのような信頼水準を使用していますか?

オプティマイズの信頼区間は、実際のコンバージョン率が 95% の確率で当てはまる範囲を表しています。改善率の範囲にカーソルを合わせれば、中央値と 50% の範囲も表示されます。

片側と両側のどちらの t 検定を使用していますか?

どちらも使用していません。オプティマイズで採用しているベイズ推定では、そうした概念を利用しません。

パターンがオリジナルを上回る確率は有意性や p 値で確認できますか?

確認できません。p 値とは、帰無仮説が真である場合に、実際に測定されたものより極端な結果が出る確率のことです。なお、A/B テストにおける帰無仮説は、「パターンとオリジナルは同じである」というものです。

p 値は感覚的に説明するのが難しい概念です。アメリカで人気の政治ブログ「FiveThirtyEight」でも同じ質問に答えていますが、最終的に、「正しく説明すること、または感覚的に説明することはできますが、それらを両立することはほとんど不可能です」と結論付けています。p 値については多くの誤解がありますが、簡潔に言うと、A/B テストの実施者の多くが求めている情報を p 値だけでは提供できません。他のデータで補足しても、p 値の解釈の誤りを簡単には防ぐことができません。

この記事は、オプティマイズの統計と方法論に関するよくある質問をまとめたものです。この件に関するよくある質問は、次の記事でもご覧いただけます。

この情報は役に立ちましたか?
改善できる点がありましたらお聞かせください。

さらにサポートが必要な場合

問題を迅速に解決できるよう、ログインして追加のサポート オプションをご利用ください。