広告のテスト機能

ディスプレイ＆ビデオ 360 のテスト機能は、広告掲載オーダーや広告申込情報を比較することにより、クリエイティブ、オーディエンス、入札戦略、ターゲティング手法について個別またはグループ単位で A/B テストを開始できる統合テスト フレームワークです。

ユーザーを相互に排他的なグループやテスト対象に分類して、ターゲティング、設定、クリエイティブのさまざまな組み合わせをテストし、最も効果が高いものを特定します。この結果を元に、配信中のキャンペーンの掲載結果を最適化したり、今後のキャンペーンを計画したりできます。

テスト機能を使用すると、次のことが可能です。

• ターゲティング、設定、クリエイティブなど、キャンペーンに影響を与えるすべての項目をテストする。
• クリック単価、クリック率、コンバージョン単価、コンバージョン率、インプレッション単価などの主な指標データのレポートを作成する。

ユーザーベースの識別情報

ディスプレイ＆ビデオ 360 では、テストでユーザーベースの識別子を使用します。第三者 ID を使用できない場合にバックアップの識別子を代替として使用することで、第三者 ID のサポート終了に対応できます。これにより、1 回の広告インプレッションでなんらかの識別子を使用できる可能性が高まります。

例:

第三者 ID を使用できない場合は、自社 ID が使用されます。それ以外の場合は、クエリレベルの識別子が使用されます。   

デフォルトでは、ユーザーベースの識別情報と代替のランダムな ID を使用して、最大限多くのユーザーを対象にテストできるようにします。第三者 ID のないトラフィックをフィルタして不明なユーザーを除外すると、テスト群のデータの歪みを減らすことができますが、テストの対象となるユーザーは少なくなります。

概念

実際の値

テスト結果の未加工データです。各パターンの実際のコンバージョン数を表します。

群

ある群には以下が含まれます。

• 単体の広告申込情報または広告掲載オーダー
• 広告申込情報または広告掲載オーダーのグループ

たとえば、ベースラインとそのパターンは、別々のテスト群となります。

基準となるユーザー

テストの比較基準として使用する広告申込情報または広告掲載オーダーです。テストでは、パターンを作成して、元のベースラインと比較できます。

信頼区間

パターン間の実際の差異が、どの程度確実にレポートの範囲に収まるかを示します。実際の値がレポートの範囲内に収まる確率として 90% または 95% を指定できます。

たとえば、信頼区間が 90% の場合、テストを 100 回繰り返すと 90 回は差異がレポートの範囲に収まることを示しています。

正規化された値

クリック数、コンバージョン数、インプレッション数、収益の最大値を表します。ベースラインまたはパターンの実際の値を基に算出した、オーディエンスの分割が 100% の場合の値です。

たとえば、オーディエンスの分割が 34% の広告申込情報で実際のコンバージョンが 170,000 件だった場合、この広告申込情報でオーディエンスの分割が 100% の場合の正規化された値は 500,000 件になります。

p 値

差異が偶然発生する確率を算出した値です。

ベースラインとパターンの実際の掲載結果に差異が生じる可能性をテストし、結果の統計的有意性を判断するために使用されます。

• p 値が低い場合は、掲載結果の差異が確実なもので、結果の有意性が高いことを示します。
• p 値が高い場合は、結果が偶然生じた可能性があり、有意性が低いことを示します。

パターン

テストする広告申込情報または広告掲載オーダーで、ベースラインの広告申込情報または広告掲載オーダーの項目を 1 つだけ変えたものです。

テストの設定

1. 広告主の画面の左側のメニューにある [テスト] をクリックします。
2. [A/B テスト] タブで [新規作成] を選択します。
3. 次のいずれかを選択します。
   • クロス エクスチェンジ
   • YouTube とパートナー
4. 次の情報を入力します。

   1. 名前: テストの識別子と、仮説の内容（省略可）を入力します。

   2. テスト期間: 開始日と終了日: 

      • 開始日:  テストを開始する日を設定します。現在より後の日付を指定してください。

      • 終了日: 必要に応じて、テストを終了する日を設定します。終了日を指定しない場合、テストは無期限に実施されます。

        可能な場合、テストの開始日と終了日は、テストで使用する広告掲載オーダーまたは広告申込情報の開始日と終了日と同じにしてください。

        例:

        • 広告掲載オーダーまたは広告申込情報が終了日に達する前にテストを停止した場合、テストのオーディエンスの分割は適用されず、ユーザーの 100% に配信されます。

        テストの指標は、テストの開始日以降に配信されたインプレッションのみに基づいて集計されます。テスト対象の広告申込情報がテスト期間前または期間後も有効だった場合、レポートのコンバージョン数は異なる可能性があります。

   3. テストグループ: 広告掲載オーダーと広告申込情報のどちらを比較するかを選択します。

      • テストのタイプに応じて、テストで使用する広告掲載オーダーまたは広告申込情報を 2 つ以上選択します。

        1. 個別に比較: テスト対象に含める個々の広告掲載オーダーを選択します。
           • 複数の広告掲載オーダーを使用する場合は、オーディエンスの分割を調整して、テストする広告掲載オーダーまたは広告申込情報の間で Cookie をどのように配分するか指定できます。
           • 広告掲載オーダーが複数ある場合に対照群を識別するには、その広告掲載オーダーをベースラインとして設定します。
        2. グループを比較: 各テスト群に含める広告掲載オーダーのグループを選択します。
           • オーディエンスの分割を調整して、テストする広告掲載オーダーまたは広告申込情報の間で Cookie をどのように配分するか指定できます。
           • 対照群を識別するには、その広告掲載オーダーをベースラインとして設定します。

   4. 測定:

      1. 調査の目標: テストで測定する目標を選択します。
         • コンバージョン数
         • クリック数
         • 動画完全再生数
         • カスタム インプレッション値の合計（カスタム入札を使用する場合）
      2. 信頼区間: [95%]（最も一般的）または [90%] を選択します。
      3. 参加 （クロス エクスチェンジ テストのみ）: デフォルトでは、ユーザーレベルの識別子と代替のランダムな ID を使用して、最大限多くのユーザーを対象にテストできるよう設定されています。
         • [不明なユーザーを除外する] をオンにして第三者 ID のないトラフィックを除外すると、テスト群のデータの歪みを最小限に抑えることができます。
           注: 不明なユーザーを除外すると、テストの対象となるユーザーは少なくなるため、則さないテスト結果となる場合があります。
      4. リフト調査の設定（省略可、YouTube とパートナーのテストのみ）:
         • [ブランド効果測定] のチェックボックスをオンにします。
         • 測定する効果測定指標を 1 ～ 3 個選択します。左側のサイドバーには、ブランド効果測定の利用条件と、テストグループが対象かどうかが表示されます。詳しくは、ブランド効果測定の設定をご覧ください。
         • アンケートに関する次の情報を入力します。
           • ブランドまたは商品名。
           • 競合するブランドや商品の名前（3 つまで）。
         • 次のアンケートの設定を入力します。
           • 言語: アンケートで使用される言語。
           • オブジェクト タイプ: アンケートの対象とする業界または分野。
           • 期待する行動: 広告を見た後のユーザーに期待する行動。

5. [保存] をクリックします。

テストの結果を評価する

1. 広告主の画面を開きます。
2. 左側のメニューで [テスト] を選択します。
3. [A/B テスト] タブ: [スタディー名] リンクを選択して、テストの結果を表示します。
   1. テストでブランドリフト調査を設定する場合は、テストグループ名の横にある [ブランド効果測定に関するレポートを表示] をクリックして、調査の結果を確認します。

4. テストの [結果] タブで、以下の操作を行います。

   1. コンバージョン数（第 1 目標）: ベースラインと各パターン、伸びの差異を表すグラフなど、結果の概要を確認できます。

      1. 指標: ベースラインと各パターンの差異を評価して統計的に有意かどうかを確認できます。
      2. ステータス: 結果が統計的に有意かどうかを示します。テストの目標に指定した項目について、ベースラインといずれかのパターンの間に大きな差異があれば、統計的に有意な結果となります。
      3. テスト期間: テストで設定した期間です。
      4. タイプ: 比較する項目として選択した広告掲載オーダーまたは広告申込情報が表示されます。
      5. 信頼度: テストで設定した信頼度です。
      6. 信頼区間: オンにすると、テストで設定した信頼度が適用されます。

5. 結果を更新するには、次の操作を行います。

   • ベースラインを選択する: デフォルトでは、ベースラインと複数のパターンがグラフに表示されます。[ベースライン] のリストからベースラインとして使用するパターンを選択できます。

   • アトリビューション モデルを選択する: コンバージョン テストの結果を表示する際に、[アトリビューション モデル] のリストからアトリビューション モデルを選択できます。

6. 必要に応じて、2 つの別々のブランド効果測定スタディーをテスト群として設定すると、ブランド効果測定の結果を確認できます。テストでブランド効果測定の結果を確認する方法は次のとおりです。

   テストで広告掲載オーダーに対して作成したブランドリフト調査がある場合、ブランドリフト調査は自動的に加速モード測定に設定されます。ブランドリフト調査は、アンケートの回答をできるだけ早く収集することを目指して実施され、目標回答数に達した時点で停止します。
   • ブランドリフト調査とテストの開始日は同じである必要があります。
   • 指標の選択とアンケートの質問には同じものを使用します。

   • たとえば、2 つのキャンペーンを使用して、各キャンペーンでブランドリフト調査を実施し、またそれぞれのキャンペーンを表す 2 つのグループでテストを行うことができます。ブランドリフト調査が完了していれば、テストがまだ実行中であっても結果を確認できます。

テストの差異を確認する

[差異] タブでは、テストの各グループの違いを確認できます。これにより、テスト対象の項目以外にも差異があるかどうかを確認できます。テストを有効にする前に、潜在的な偏りや、テストで関連性のない結果がもたらされるリスクを排除して、差異を修正することができます。パターン グループに複数の広告申込情報が含まれている場合は、検出された差の最小数に基づいて比較値が自動整合されます。

差異ツールは QA プロセスでの使用を想定していますが、過去の状態は反映されません。このツールでは、過去のテスト実行時ではなく、現時点での広告申込情報と広告掲載オーダーを比較します。そのため、テスト後に加えられた変更があれば、テストに影響を与えていなくてもツールに反映されます。アーカイブした広告申込情報についても同様です。

運用のヒント

テストを設定する際は次の点にご注意ください。

計画と設定

• 1 つのテストにつき 1 つの項目のみテストします。すべてのテスト群（ベースラインとパターン）で、テストする項目以外は同じ設定を使用します。

• テストする広告掲載オーダーや広告申込情報は最初から作成するのではなく複製します。こうすることで、テストする項目以外は同じ設定を使用できます。

• テストでは新しい広告掲載オーダーまたは広告申込情報のみを使用します。広告掲載オーダーまたは広告申込情報をテスト前に配信していた場合、その結果がコンバージョンのカウントに影響する可能性があります。

• 外部からの影響を排除します。テスト対象外の広告申込情報が、テストする広告申込情報の予算と競合しないようにします。そのため、テストする広告申込情報には、できれば個別の広告掲載オーダーを使用してください。

  また、テストで使用するクリエイティブは、テスト外ではできるだけ使用しないようにしてください。

• 十分なフリークエンシー キャップを設定します。広告掲載オーダーをテストする場合は、キャンペーンのフリークエンシー キャップを、テストで使用する広告掲載オーダーの最も高いフリークエンシー キャップと、テストで使用しない残りの広告掲載オーダーのフリークエンシー キャップをすべて足した値以上に設定します。

  たとえば、3 つの広告掲載オーダーを含むキャンペーンがあり、そのうち 2 つのみをテストで使用する場合、キャンペーンのフリークエンシー キャップは、テストで使用する 2 つの広告掲載オーダーのうち高い方のフリークエンシー キャップと、テストで使用しない広告掲載オーダーのフリークエンシー キャップを足した値以上にします。テストで使用する広告掲載オーダーのフリークエンシー キャップがそれぞれ 10 と 8 で、テストで使用しない 3 つ目の広告掲載オーダーのフリークエンシー キャップが 5 だとすると、キャンペーンのフリークエンシー キャップは 15 に設定します。つまり、テストで使用する広告掲載オーダーの中で最も高いフリークエンシー キャップである 10 と、テストで使用しない他の広告掲載オーダーの合計フリークエンシー キャップである 5 を足した値となります。

  テストで広告申込情報を比較する場合は、広告掲載オーダー単位のフリークエンシー キャップを同じように設定します。

• 予算とペースの配分を慎重に検討します。テストの各グループの予算は、オーディエンスの分割と同じ配分にします。同じ配分にしない場合は、予算もテスト項目となります。ペースの配分についても同様です。このことは、同じ広告掲載オーダー内のテストで使用する広告申込情報とテストで使用しない広告申込情報についても当てはまります。予算とペースの設定は、テストする広告申込情報の広告枠購入に影響するため、テスト結果もこれに左右されます。

• リーチが限定される場合は注意します。リーチが比較的限定される可能性がある場合（たとえばリーチ範囲の狭い取引やオーディエンスの広告枠を購入する場合）は、テストの信頼区間が広くなり、パターンの効果測定が難しくなる可能性があります。

• 時間に余裕をもって準備します。テストを開始する前に、すべてのクリエイティブが承認されるように、十分な時間を取ります。

テスト実施中の留意事項

• テストを一時停止しないようにします。テストを続けながらキャンペーンを一時停止する場合は、テストのグループを一時停止し（必ずすべてのグループを一時停止してください）、テスト自体は一時停止しないようにします。キャンペーンを再開するときは、すべてのグループを同時に有効にしてください。

  終了したテストを再開することはできません。また、テスト項目はすべてユーザーの 100% に配信されるようになります。

• 変更はすべてのテスト群に適用します。テストの実施中に広告掲載オーダーや広告申込情報に変更を加える場合は、すべてのテスト群に同じ変更を適用するようにします（ブランド適合性に関するガイドラインを満たしていないサイトを削除する必要が生じた場合など）。

留意事項

• テストは次のタイプの広告枠では実施できません。
  • プログラマティック保証型取引のデフォルトの広告申込情報、デフォルトの広告申込情報が設定されている広告掲載オーダー
  • 事前購入広告枠
• テストは設定から 24 時間後に開始できます。設定中に、今日または明日をテストの開始日として選択することはできません。
• 広告申込情報または広告掲載オーダーは、1 度に 1 つの有効なテストでのみ使用できます。
• テストを開始した後で、オーディエンスの分割を調整することはできません。
• 現在のところ、テスト フレームワークはクロスデバイスに対応していないため、モバイル デバイスではテストパターンの 1 つが表示され、パソコンではベースラインが表示される場合があります。
• カウントされるコンバージョン数（表に表示される指標を含む）は、テストと他のレポート形式とで異なります。これは、テスト中に記録される指標では、テストが有効な間に配信されたインプレッションのみが対象となるためです。
• A/B テストで作成したブランドリフト調査は再測定に使用できません。ブランドリフト調査を再測定する場合は、テストを停止して、広告掲載オーダーをブランドリフト調査から削除し、[リフト調査] タブで新しいブランドリフト調査を作成する必要があります。

よくある質問

キャンペーン マネージャー 360 のオーディエンス セグメンテーション ターゲティングとディスプレイ＆ビデオ 360 のテストの違いは何ですか？

キャンペーン マネージャー 360 のオーディエンス セグメンテーション ターゲティングでは、主にクリエイティブ間でトラフィックを分割します。たとえば、オーディエンス セグメンテーション ターゲティングを使用して、キャンペーン マネージャー 360 キャンペーンのトラフィックを複数のユーザー グループに分け、そのセグメントごとに異なるクリエイティブを入稿できます。

一方、ディスプレイ＆ビデオ 360 のテストでは、広告掲載オーダーまたは広告申込情報単位でトラフィックを分割できます。したがって、クリエイティブだけでなく、任意の設定やターゲティング可能な項目をテストできます。

テストに追加できない広告掲載オーダーや広告申込情報があるのはなぜですか？

テストで使用できない広告掲載オーダーや広告申込情報は、テストの設定時に表示されないか、選択できない項目として表示されます。

ツールチップ アイコンで、広告掲載オーダーや広告申込情報をテストに追加できない理由を確認できる場合があります。

Google オプティマイズとディスプレイ＆ビデオ 360 のテストの違いは何ですか？

ディスプレイ＆ビデオ 360 のテストでは、ターゲティングや設定などの広告キャンペーンの戦略を比較できます。Google オプティマイズでは、各種サイトやランディング ページを比較できます。

また、ディスプレイ＆ビデオ 360 のテストでは、他の広告パフォーマンス測定ソリューションと同様の頻度論モデルが使用されている一方、Google オプティマイズでは、サンプルサイズが小さい場合の比較に適したベイズモデルが使用されています。