データは、メディエーション グループ ページで定期的に更新されます。90 日間の任意の時点で、データに基づいて、テストを終了しパターンをコミットすることができます。コミットされたパターンは、メディエーション グループ設定として 100% のユーザーに適用されることになります。
A/B テストにアクセスしてモニタリングするには:
- https://admob.google.com から AdMob アカウントにログインします。
- サイドバーで [メディエーション] をクリックします。
- 目的の A/B テストが含まれるメディエーション グループを選択します。
A/B テストの結果を分析しやすいよう、パターン A とパターン B の推定月間収益が表示されています。推定月間収益とは、そのパターンを全ユーザーに適用した場合に 28 日間で得られる収益の推定値で、各パターンのパフォーマンスを正確に把握し、公平に比較するための目安となります。
A/B テストのページ上部に表示される推定月間収益の差を、パターン間にどの程度の違いがあるか把握するための目安として活用しましょう。
このほかに、パターン A とパターン B の見積もり収益額、eCPM、マッチ率が表示されており、テスト実施中は随時更新されます。このデータでは、各パターンにおける各広告ソースのパフォーマンスの違いも簡単に検証できます。
結果の解釈
テストが始まると、AdMob は双方の推定月間収益を比較して、より優れたパフォーマンスが期待できるパターンを見極めます。一方のパターンのパフォーマンスが他方のパターンより継続して大幅に優れていると判断された場合、A/B テストページに優位なパターンが表示されます。また、推奨される対応（パターン A の方がパフォーマンスが高い場合は [オリジナルを使用]、パターン B の方が高い場合は [パターンを適用]）も提供されます。
さらに、推定勝算確率（例: パターン A の方がパターン B よりパフーマンスが良くなる確率は 99%（推定））が提供されるため、優位なパターンに対する信頼度も確認できます。
AdMob は、次のような条件を使用して、優位のパターンと推定勝算確率を決定します。
- 優位なパターンのパフォーマンスが他のパターンより優れていることを継続して示しているかどうか。
- 各パターンのパフォーマンスの差の大きさ。
- 使用可能なデータ量。テスト期間中に利用可能なデータ量を増やすには、トラフィックの量が多い広告ユニットを選択することをおすすめします。テストでは、AdMob で結果を判断するために少なくとも 10,000 件の広告リクエストを取得する必要があります。
データが多く、パフーマンスの違いが継続して大きいほど、推定勝算確率が高くなります。
上記の条件のいずれかが満たされていないと、AdMob は優位なパターンを判別できません。この場合、A/B テストページには確定的な結果は表示されませんが、パターンごとのテスト指標は表示されます。
ユーザー割り当てを 50% より小さい値に設定した場合、パターン B のデータはスケーリング算定されます。つまり、公平に比較できるよう、パターン B のデータに同等のユーザー割り当てが適用されていると仮定します。
たとえば、パターン B のユーザー割り当てが 10% に設定されている場合、推定収益額は 9 でスケーリングされます。これにより、パターン A（ユーザー割り当てが 90%）と公平な比較が行われます。つまり、パターン B の収益が 10 ドルの場合、パターン B の収益のスケーリング算定は 90 ドルになります。
適用する
最低 2 週間はテストを実施してから適用することをおすすめします。90 日の期間中、いつでもパターンをコミットできます。コミットされたパターンは、メディエーション グループ設定として 100% のユーザーに適用されることになります。パターンをコミットする際は、推定収益の差と推定勝算確率を考慮してください。
パターン A を使用することも、パターン B を適用することもできます。方法は次のとおりです。
- パターン A を選択するには、[保持] をクリックします。元のメディエーション グループの設定が保持されます。
- パターン B を選択するには、[適用] をクリックします。パターン B の設定がアカウントに適用されます。
90 日間が経過してもパターンをコミットしない場合は、テストが停止し、優位でなかったとしてもパターン A が 100% のユーザーに適用されます。
テストが終了してから 30 日以内（テストの期限が切れてパターン B が削除される前）は、パターンを選択することができます。