実施中のテストをモニタリングしたり、完了したテストの結果を確認したりするには、テストの詳細ページの上部にある [レポート] タブをクリックします。Google アナリティクスでは、入力データと、その入力データから算出されたローデータも確認することができます。
ベイズ推定
オプティマイズでは、ベイズ推定を使用してレポートを生成しています。ベイズ推定は、統計分析のひとつの手法であり、データが蓄積されるにつれ分析の精度が向上するという性質を備えています。計算が複雑で高い処理能力が求められるという面もありますが、ベイズ推定には従来のアプローチと比べて、次のような 4 つのメリットがあります。
- 確率を直接計算することができるため、「新しいパターンがオリジナルより優れた成果を上げる確率はどのくらいか」などの問いに対して、より適切な回答を示すことができます。
- 誤って確率と混同されることの多い p 値の使用を避け、すぐに活用できる有用なデータをユーザーに提供できます。
- 仮説検定のアプローチに伴うさまざまな問題を回避しつつ、あるパターンが総合的に最善である確率を示すことができます。
- それ以上テストを続行しても有用なデータが得られないと判明した時点で、テストを終了できます。
ベイズ推定およびオプティマイズで使用される統計手法について詳しくは、ベイス推定をご覧ください。
オプティマイズ レポートの各部の説明
オプティマイズ レポートでは、テストのステータスや各パターンの目標達成状況など、さまざまなデータが提供されます。レポートの上部には、現在のステータスなどの重要な情報の概要が表示されます。レポート本文には、すぐに活用できるデータを提供する一連のグラフと表があります。
概要ヘッダー
レポートの上部にある概要ヘッダーには、テストのメインの目標に関連する情報（ステータス、セッション、推奨事項など）が表示されます。下記の例のように、テストのステータス（実行中）、テスト セッションの数（54,000）、推奨事項（テストを続けてください）、開始時刻と終了時刻が表示されます。
ステータス メッセージ
概要ヘッダーには、テストに関する重要な情報を提供するステータス メッセージとサブメッセージが目立つように表示されます。レポートの概要ヘッダーに表示されるステータス メッセージには、次のようなものがあります。
データを待っています
アナリティクスから提供されたデータの処理がまだ完了していない場合に表示されます。これは、エラー メッセージではありません。データ収集と処理のタイミングはサービスによって異なるため、データが収集されてからオプティマイズで処理されるまでには若干のタイムラグが生じます。
オプティマイズで最初の分析結果を確認できるようになるまでには、1～2 日ほどかかります。表の [アクティブなユーザー数] 列では、テストが正常にユーザーに表示されていることを確認できます。この列には、[開始] ボタンのクリック直後から、テストページを訪れたアクティブなユーザーの数がリアルタイムで表示されます。
テスト セッションがありません
テスト セッションが受信されていない場合に表示されます。これは、エラーが発生していることを示しています。問題を解決するには、次を行います。
- オプティマイズの実装状況の診断を活用して、オプティマイズが正常にインストールされていることを確認します。たとえば、オプティマイズのスニペットがサイトに正しくインストールされているか、オプティマイズが適切な Google アナリティクス プロパティにリンクされているかを確認できます。
- ページのターゲティング ルールを確認します。たとえば、「次と等しい」を使用していると、ルールが非常に厳密に適用されるため、URL にクエリ パラメータを含むユーザーは除外されます。このような場合は「次と一致」を使用すると、クエリ パラメータ、大文字小文字の混在、http と https の違いが許容されるようになります。
- オーディエンス ターゲティング ルールに一致するユーザーがサイトを訪れているか確認します。
テスト セッションが不十分です
テスト セッションは発生していますが、すべてのパターンを分析できるだけの十分なデータが集まっていない場合に表示されます。オプティマイズでは、1 日あたり 1 つのパターンに対して少なくとも 1 つのテスト セッションが必要です。一部のページにターゲティングの問題があるか、比重の設定により各パターンに十分なトラフィックが割り当てられていないことが考えられます。たとえば、あるパターンに 100% のトラフィックが割り当てられ、オリジナルに分配されるトラフィックが 0% になっている場合があります。この場合は、パターンの比重を調整して、問題を解決してください。
テストを続けてください
このメッセージは、次の 2 つの場合に表示されます。
- オプティマイズでは、少なくとも 2 週間分のデータが収集されるまで、テスト結果の報告は行われません。ウェブ トラフィックの変動周期が 1 週間であることを考慮して、トラフィック量が多いサイトでも、2 週間以上テストを実施する必要があります。
- 現在収集されているデータは、精度の高いテスト結果を提供するには不十分であるため、さらに多くのデータを集める必要があります。テストが現在実行中であれば、そのまま続行することをおすすめします。少なくとも 1 つのパターンで「オリジナルを上回る確率（PBO）」が 95% に達するまでテストを続けてください。
リーダーが見つかりませんでした
データが十分に収集され、リーダーは存在しない（パターンもオリジナルもリーダーではない）との結論が導き出されると、このメッセージが表示されます。これは、パターンをデプロイまたは実装しても、その成果はオリジナルとほとんど変わりないことを意味しています。これ以上続行しても結果が変わる可能性は低いため、このテストはここで中止して、新しいテストを行うことをおすすめします。
少なくとも 1 つのパターンがオリジナルよりも優れています
オリジナルを上回るパターンが 1 つ以上見つかっているものの、最善のパターンを特定するにはデータが不足している場合に表示されます。この場合は、（1）最善である確率が最も高いパターンをデプロイするか、（2）テストを続行して、最も優れたパターンが見つかるまで待つことができます。
オリジナルがリーダーです
オリジナルより優れたパターンが見つからなかった場合に表示されます。この場合は、パターンを採用せず、オリジナルをそのまま使用する方がよいでしょう。これ以上続行しても結果が変わる可能性は低いため、このテストはここで中止して、新しいテストを行うことをおすすめします。
1 つ以上のリーダーが見つかりました
データが十分に収集され、1 つ以上のパターンがオリジナルよりも優れているとの結論が導き出されると、このメッセージが表示されます。収集されたデータを基に、最善のパターンも特定されます。この場合は、「最善である確率（PBB）」が最も高いパターン、または現在のオリジナルよりも優れていると判断された他のいずれかのパターンをデプロイできます。これ以上続行しても結果が変わる可能性は低いため、このテストはここで中止することをおすすめします。
「パターン」がリーダーです
データが十分に収集され、1 つのパターンのみがオリジナルより優れているとの結論が導き出されると、このメッセージが表示されます。この場合は、リーダーのパターンをサイトにデプロイまたは実装してください。これ以上続行しても結果が変わる可能性は低いため、このテストはここで中止することをおすすめします。
目標カード
目標カードには、指定されている目標に対する各パターンの現在の達成状況が表示されます。下記の例は、「特典を利用」のクリックを目標とした場合の結果を示しています。このテストでは、オリジナルが 86% の「最善である確率」を獲得しています。目標カードには、実測データとオプティマイズ分析という 2 つのタイプのデータが表示されます。
実測データ
ページの左側には、右上のタイムスタンプの時点での実測データが表示されます。このデータは、リンクされている Google アナリティクス プロパティから取得されます。
オプティマイズ分析
ページの右側には、最善である確率（PBB）、オリジナルを上回る確率（PBO）、推定コンバージョン率、推定改善率などのオプティマイズ分析が表示されます。Google アナリティクスのタイムスタンプと [アナリティクスで表示] リンクは、レポートの右上に表示されます。[アナリティクスで表示] オプションは、ユニバーサル アナリティクス プロパティでのみご利用いただけます。
この例では、「スペシャル オファー」パターンの成果がオリジナルを下回っていることがわかります。
コンバージョン率（推定）のグラフ
テストデータと分析データの下には、データの蓄積に伴って変動するパターンの推定コンバージョン率が時系列のグラフで表示されます。このグラフは、左上のプルダウン メニューで選択された目標に対する、パターンの現在までの達成状況を示しています。
色付きの部分は、95% の確率でオリジナルとパターンのコンバージョン率が変動する範囲を示しています。範囲の中央に表示されている線は、範囲の中央値を示しています。
テストの開始時には、各パターンの成果に関して不確実な部分が多いため、変動の幅（色付きの部分の高さ）は大きくなります。しかし、オプティマイズのモデルにデータが蓄積されていけば、ほとんどの場合、各パターンのコンバージョン率の変動は小さくなり、オリジナルとパターンの成果をより正確に比較できるようになります。
アナリティクス ビューのフィルタ
ユニバーサル アナリティクスのみ
リンク先のアナリティクス ビューにフィルタが適用されている場合は、オプティマイズ レポートで使用するデータにもそのフィルタが適用されます。ただし、テストを配信するかどうか判断する際には、ビューのフィルタは考慮されません。たとえば、テストがリンクされているアナリティクス ビューで内部 IP アドレスが除外されている場合は、オプティマイズのテストデータからも内部ユーザーが除外されます。しかし、それらの内部ユーザーがテストのターゲティング条件を満たしていれば、それらのユーザーにもテストが配信される可能性があります。一般に、テストはフィルタが多用されていないビューにリンクすることが推奨されています。
サンプリングなし
オプティマイズのデータは、基盤となる Google アナリティクスのデータ表から取得されます。このデータは、サンプリングされていません。オプティマイズのインターフェースでもサンプリングは適用されないため、オプティマイズとオプティマイズ 360、アナリティクスとアナリティクス 360 のいずれを使用している場合でも、オプティマイズに表示されるデータはすべて非サンプリング データということになります。
Google アナリティクスのテスト ディメンションとオプティマイズ データへのアクセスについては、Google アナリティクスのオプティマイズ データをご覧ください。