高度な概念

この記事の内容:

ベイズの事前分布を A/B テストに適用するのは危険だと聞いたことがあります。特定のパターンが勝者であるという推測を行うのでしょうか?

いいえ、これはよくある誤解です。勝者とコンバージョン率に関して言えば、なるべく無情報事前分布を使っています。テストの結果への影響を最小限に抑えられる事前分布です。

情報事前分布を使用することもありますが、パターンの結果を早期に確定できるメリットがあり、トラフィックの少ないテストで確度の高い結果を得ることができます。

ベイズの事前分布とは何ですか?

ベイズの事前分布は、パターンまたはテストの将来的な動向について、私たちがどうなると思っているかという予測をモデル化したものです。事前分布は入手したデータと組み合わさり、事後分布(結果)が形成されます。データの蓄積が進むと、事前分布は「圧倒」され、その重要性は低下していきます。オプティマイズでは、さまざまな事前分布を使用しますが、データが増えれば、その分だけ事前分布の影響力は薄れます。

事前分布という名前ではありますが、必ずしも以前のデータに基づくものではなく、あくまでモデル化プロセスへの論理的な入力として使用するだけです。

オプティマイズで使用する事前分布の多くは「無情報」であり、テストの結果に大きな影響を及ぼしません。たとえば、コンバージョン率では無情報事前分布を使用しますが、それは、データが得られるまでは新しいパターンがどのようなパフォーマンスを示すかわからない、という前提に立っているからです。

階層モデルなどでは、情報事前分布を使用することもあります。パフォーマンスに変化がないテストであれば、結果を早めに得られるからです。もちろん、テストのデータに変動がある場合は、そのデータがすぐに事前分布を圧倒し、事前分布の影響力は低下していきます。

なお、「事前分布」という名前から、Google アナリティクスの過去のデータを使用しているという誤解があるかもしれません。それは可能なことではありますが、現在はそうしたデータを使用していません。

どんな種類のモデルを使用していますか?

目的に応じてさまざまなモデルを使用しており、どれを使用するかはモデルの内容によって決まります。より正確なテスト結果をできるだけ早く得られるように、新しいモデルの研究を継続的に行っています。

分析プロセスを順序立てて説明してもらえませんか?

目的や測定方法によってプロセスは多少変わってきますが、基本的には次のように進行します。

  1. 生のヒットデータを Google アナリティクスのバックエンドに集めます。
  2. テストのデータを集約します。多くの場合、データの形式は目的に合わせて変更します。たとえば、一部の指標については、集計を行う前に必要に応じて対数変換を行います。
  3. 集計データは毎日、統計処理システムに取り込まれます。
  4. その集計データに基づき、マルコフ連鎖モンテカルロ法(MCMC)を使ってコンバージョン率の分布の形を推定します。同時に結果のサンプリングも行います。
  5. そうした分布の非常に多くのサンプル(描画)を比較することによって、統計を作成することができます。たとえば、「オリジナルを上回る確率」および「最善である確率」という指標は、それぞれパターンがオリジナルを上回っている描画の数または他のすべてのパターンを上回っている描画の数を確認することによって作成されます。

多変量テストは一部実施または完全実施のどちらですか?

多変量テストは、実行可能なテストの中で最も効率的なものの 1 つです。まずは、いくつかの用語を簡単に説明します。

  • 多変量テストは、複数の A/B テストを組み合わせたものと考えることができます。実施者は、ユーザーが接するさまざまなパート(要素セクションなど)を変更して、多様な組み合わせを作ることが可能です。たとえば、見出しとヒーローの画像という 2 つの要素があり、それぞれに複数のパターンを設定して多変量テストを実施できます。具体的には、2 つの見出しと 3 つの画像をテストし、6 つの組み合わせのうち最適なものはどれかを確認できるほか、なんらかの正または負の相互作用があるかどうかも確認することができます。
  • 完全実施要因多変量テストは、すべての組み合わせをユーザーに提示します。セクションの数が増えると、組み合わせの数が飛躍的に増加しますが、それでもあくまで大規模な A/B テストとして分析可能です。ただし、有効な結果を得るためには、データの収集に非常に長い時間がかかるかもしれません。その代わりに、すべての組み合わせについてパフォーマンスを確認できるメリットがあります。
  • 一部実施要因多変量テストは、一部の組み合わせだけを提示し、その範囲で分析を行います。このタイプのテストなら、早期に結果を得ることができます。ただし、すべての中で最善の組み合わせを特定するには、追加のテストが必要になる場合もあります。

オプティマイズのモデルではハイブリッドのアプローチを使用できるので、妥協点を探る必要はありません。テストのすべての組み合わせが提示されるので、相互作用と最善の組み合わせを確認できます。ただし、一部のパターンは複数の組み合わせで表示されるという事実もモデル化されるため、組み合わせだけでなく、要素内のパターンについてもパフォーマンスを確認することができます。

この記事は、オプティマイズの統計と方法論に関するよくある質問をまとめたものです。この件に関するよくある質問は、次の記事でもご覧いただけます。

この情報は役に立ちましたか?
改善できる点がありましたらお聞かせください。
検索
検索をクリア
検索終了
Google アプリ
メインメニュー
ヘルプセンターを検索
true
101337
false