オプティマイズ レポートの説明

信用区間とは

信用区間の概念を理解することは、後述する内容を理解するうえで非常に重要です。

信用区間とは、測定しようとしているテストの目標として有効な値の範囲です。テストでは、サイトのトラフィックの一部のみが対象となるため、目標の真の値を決めることはできません。有効な値の範囲は、この一部の実測データに基づいています。

信用区間: X% の確率で、真の値は X% 信用区間内に収まります。

  • 95% 信用区間: 95% の確率で、目標の真の値は 95% 信用区間内に収まります。
  • 50% 信用区間: 50% の確率で、目標の真の値は 50% 信用区間内に収まります。

オプティマイズで信用区間が使用される仕組み

オプティマイズ分析では、推定コンバージョン率(「推定目標値」)と推定改善率という 2 つの項目について、信用区間が示されます。表示方法は異なりますが、どちらも信用区間です。

オプティマイズ分析では、95% と 50% の 2 つの信用区間が表示されます。これは、外側の範囲(95% 信用区間)は、95% の確率でテストの目標が信用区間の範囲内に収まることを示しています。

テストの推定コンバージョン率の区間は、オプティマイズで以下のように表示されます。

推定コンバージョン率

図に示したように、オプティマイズ分析では信用区間の範囲が左右対称になります。つまり、残りの 5% の確率は、区間の前後で均等に分割されるということです。したがって、テスト目標の値が信用区間の下限を下回る確率は 2.5% あり、同様に、テスト目標の値が信用区間の上限を上回る確率は 2.5% あります。

統計情報に関心をお持ちの場合

数学が得意な方は、さらに進んだ考察が可能です。たとえば、テスト目標の真の値は、22.5% の確率で、95% 信用区間の下限から 50% 信頼区間の下限の間に収まるということが簡単にわかります。ですが、このようなことは、Google のようにデータと推定を愛好するお客様でなければ、それほど関心を抱かないかもしれません。

推定改善率

推定改善率は、基準値に対して、パターンで見込まれる相対的な上昇率です。これは、信用区間としても表示されますが、その形式はわずかに異なります。

推定改善率

オプティマイズ レポートの推定改善率の列には、95% 信用区間の結果が表示されます。結果にカーソルを合わせると、50% 信用区間が表示されます。オプティマイズの信用区間では、テストで見込まれる値の範囲に関する確率のステートメントが提供されます。

ところで、これは信頼区間のように聞こえますが、どのような違いがあるのでしょうか。

頻度論的手法で使用される場合、信頼区間は、提示された区間にテスト目標(または改善率)の値が含まれるかどうかを表す確率になります。

詳しくは、オプティマイズのベイズ法とその他のツールの違いをご確認ください。

推定目標率

推定目標率は、指定された目標に対して、オプティマイズで予測される値の長期的な平均値を表します。たとえば、収益目標を設定している場合、オプティマイズではセッションごとの長期的な平均収益が推定されます。ページビューの場合は、セッションごとの長期的な平均ページビューが推定されます。

オプティマイズで推定されるのは長期的な割合のため、以下の 2 点にご注意ください。

まず、サイトをデプロイまたは更新して成果の高いパターンを反映させると、推定コンバージョン率をすぐには達成できず、達成にいたるまで、テストを実行するのと同じくらいの時間がかかる場合があります。

第 2 に、オプティマイズでは、テスト中のサイト トラフィックが、パターン導入後に発生するサイト トラフィックと類似していることを前提としています。テスト結果に基づいてサイトをデプロイまたは更新する際は、以下の点をご確認ください。

  • テストの実行中、結果に影響を及ぼす可能性がある、変わったことはありませんでしたか。
    • 例: 社内の誰かによってサイトが大幅に変更されていないかどうか。
    • 例: 特定の商品に影響を与えるソーシャル メディアの投稿がなかったかどうか。
  • テスト期間と、パターンを導入するタイミングで、異なる点はありませんか。
    • 例: テストは閑散期に実行されたが、パターンは繁忙期に導入される。

オプティマイズ レポートに表示される推定改善率は、ベースラインに対して、パターンのパフォーマンスで値の改善がどの程度見込まれるかの幅を示す信用区間です。

例を使って説明します。

テスト中に表示されたデータは、以下のとおりです。

  コンバージョン数 セッション数 実測率
オリジナル 3 10 30%
パターン 4 10 40%

(40 - 30) ÷ 30 という簡単な計算では、コンバージョン率が 33% 向上すると算出されます。しかし、この小さなデータセットの実測結果に基づいて、コンバージョン率が実際に 33%(すなわち、コンバージョン率の数値が 10%)向上すると本当に考えてよいのでしょうか。

おそらく、そうではないでしょう。そこで出番となるのが、推定改善率の区間です。

この信用区間は、見込まれる改善率の範囲を示します。上記のサンプルサイズは非常に小さいため、上記の例では、推定改善率の区間が「(-50%、200%)」となる可能性があります。

これは、オリジナルに比べてパターンのパフォーマンスが 50% 低下するか、2 倍向上することを意味しますが、特に役立つ情報とはいえません。

平日と週末の両方の訪問者からデータを取得するため、常に最低 14 日間はテストを実施することをおすすめします。これにより、見込まれる改善率の範囲をオプティマイズで絞り込みやすくなります。

目標率の推移

オプティマイズでは、レポートの下部に推移グラフが表示されます。このグラフは、目標値の信用区間の推移を示しています。

重要
 
  • このグラフには、目標率の 1 日ごとの推移は表示されません。
  • このグラフの各ポイントには以前のデータすべてが累積されています。

グラフの各ポイントでは、テスト開始からその日までのテストの合計データに基づいて、推定目標率の信用区間が作成されます。その後、これらの信用区間は、毎日計算が行われるごとに表示されます。

収集されるデータが増えるほど、「長期的」な目標率の信用区間は、時間の経過とともに縮小されます。つまり、真の値とのずれがより小さくなるということです。

この情報は役に立ちましたか?
改善できる点がありましたらお聞かせください。