テストでは、信頼区間と統計的有意性をどのように算出していますか？
まずは、バケット化したデータにジャックナイフ法（リサンプリング手法）を適用して、指標の変化率の標本分散を計算します。次に、95% の信頼区間を使用して両側検定を実行しています。
データをバケット化するのはなぜですか？
データをバケット化することで、軽微な観測誤差による影響を抑えることができます。データをバケット化する理由についてもう少し詳しくお知りになりたい場合は、Data binning（英語）をご参照ください。
母集団データが正規分布でなくても、バケットあたりの観測数が十分に大きければ、中心極限定理によりバケットデータは近似的に正規分布になります。ただし、バケットあたりの観測数が十分でない場合もあるため、ジャックナイフ法を使用して信頼区間を算出しています。
ジャックナイフ法のリサンプリングを使用するのはなぜですか？
ジャックナイフ法は、弊社の標準リサンプリング手法であり、さまざまなケースに対応できる汎用性を備えています。ジャックナイフ法を使用すると、効率的に外れ値を検出し、標本推定値のバイアスを軽減することができます。さらに、中心極限定理に基づく正確な推定を行うのに十分なデータがない場合でも、バケット化されたデータにジャックナイフ法を適用することで、信頼区間の精度を高めることができます。
ジャックナイフ法の概要については、Jackknife resampling（英語）をご参照ください。さらに詳しい説明をお読みになりたい場合は、ホワイト ペーパーの Resampling Data: Using a Statistical Jackknife（英語）をご覧ください。
外部の広告主がすでに完了している複数のテストの掲載結果を集計し、その集計に基づいて統計情報を再計算することはできますか？
いいえ、広告主様が各ユーザーのデータにアクセスして、バケットを再作成し、ジャックナイフ法を実施することは許可されておりません。現時点では、お客様のご要望に応じて再計算を行うための内部ツールはございません。
テスト キャンペーンと元のキャンペーンに割り当てられるオークションの分配比率にターゲティングが影響を与えることはありますか？
ターゲティングが分配比率に影響を与えることはありません。分配比率は、ターゲティングが適用される前に対象オークションに適用されます。たとえば、分配比率が 50:50 である場合、テスト キャンペーンと元のキャンペーンにはそれぞれ同じ数のオークションが割り当てられます。
A/A テストを正しく実施するには、どうすればよいですか？
A/A テストとは、期間中のテスト キャンペーンと元のキャンペーンの設定や条件をまったく同一にして行うテストです（キャンペーンの広告、広告グループ、設定などに違いがなく、広告の承認状況も同じである必要があります）。A/A テスト中にキャンペーンに変更を加える場合は、テスト キャンペーンと元のキャンペーンの両方に同時に変更を適用する必要があります。
A/A テストでは、何を確認できるのですか？
クリック数、インプレッション数、クリック率、クリック単価で統計的に有意な差異が発生しなければ、ツールが正しく動作していると判断できます。
検索ベースと Cookie ベースのテストへの分配比率の違いは何ですか？
これらの 2 つのオプションのどちらを選択するかで、ユーザーに表示されるテストパターンが決まります。「検索ベース」のテストへの分配比率では、検索を行うたびに、テスト キャンペーンと元のキャンペーンのいずれかがランダムにユーザーに表示されます。そのため、検索を複数回行うユーザーには、テスト キャンペーンと元のキャンペーンの両方が表示される可能性があります。一方「Cookie ベース」のテストへの分配比率では、検索の回数に関わりなく、ユーザーにはテスト キャンペーンと元のキャンペーンのいずれかひとつのみが表示されます。この方法には、結果が他の要因の影響を受けないというメリットがあります。
使用されるバケットの数はいくつですか？
コントロール グループで 20 個、テストグループでも 20 個のバケットが使用されます。バケットの数が多すぎると、統計的に有意な結果が得られるまでにかなりの時間がかかる場合があります。また、バケットの数が少なすぎると、算出される信頼区間の精度が低下する恐れがあります。統計的に高い精度を確保しつつ、利用者様の現実的なニーズを考慮して、20 個という数が設定されています。
