利用實驗測試廣告

Display & Video 360 實驗是一種整合式測試架構，可用來比較廣告訂單或委刊項，以便針對個別或一組廣告素材、目標對象、出價策略或指定目標策略進行 A/B 版本測試。

您可以將使用者分成多個完全不重複的群組和實驗，用於測試不同的指定目標、設定和廣告素材組合，找出成效最佳的搭配。實驗結果可用來在檔期中改善廣告活動的成效，也可以做為日後的廣告活動規劃依據。

您可以在實驗中執行下列操作：

• 測試每一項會影響廣告活動成效的可變維度，包括指定目標、設定、廣告素材等等。
• 製作主要指標的報表，例如單次點擊出價、點閱率、單次轉換費用、轉換率、千次曝光出價等等。

使用者 ID

Display & Video 360 採用使用者 ID，可在無法取得第三方 ID 時使用備用 ID，進而協助您的實驗因應第三方淘汰作業。如此一來，任何廣告曝光都有一個 ID 可供使用的機率就會增加。

範例說明：

如果無法取得第三方 ID，系統會改為使用第一方 ID，或者使用查詢層級 ID。   

根據預設，實驗會利用使用者 ID 和隨機劃分方式盡量提高參與度。您可以篩除沒有第三方 ID 的流量，藉此排除無法辨識的使用者，減少實驗組之間的干擾，但這麼做也會導致參與實驗的使用者人數降低。

概念

實際值

實驗的原始結果，代表變化版本實際獲得的轉換次數。

實驗組

實驗組別可能包含下列項目：

• 一個委刊項或廣告訂單
• 一組委刊項或廣告訂單

舉例來說，基準及其變化版本分屬不同的實驗組。

基準

在實驗中做為比較標準的委刊項或廣告訂單。您可以建立變化版本，並在測試中用來與原始基準進行比較。

信賴區間

這指的是不同變化版本之間的實際差異落在回報範圍內的可能性。您可以指定讓實際值有 90% 或 95% 的機率落在回報範圍內。

舉例來說，如果信賴區間為 90%，表示在 100 次相同的測試中應有 90 次測試的結果差異落在回報範圍內。

正規化值

代表點擊、轉換、曝光或收益的最大值，計算方式是根據 100% 的目標對象拆分百分比按比例增加基準或變化版本的實際值。

舉例來說，假設某個委刊項的實際轉換次數為 17 萬次、目標對象拆分百分比為 34%，當該委刊項的目標對象拆分百分比為 100% 時，轉換次數的正規化值會是 50 萬次。

P 值

計算而得的機率，代表差異是偶然發生的可能性。

這可用於檢驗基準和變化版本之間確實有成效差異的機率，進而判斷結果的統計顯著程度：

• 如果 P 值較低，表示出現成效差異的可能性較高，因此結果具有統計顯著性。
• 如果 P 值較高，表示結果可能是偶然產生，因此不具有統計顯著性。

變化版本

實驗委刊項或廣告訂單，用於測試與基準委刊項或廣告訂單相關的單一變數。

設定實驗

1. 前往廣告主頁面，然後按一下左選單中的「實驗」。
2. 在「A/B 版本測試」分頁中選取「新建」。
3. 選擇下列其中一個選項：
   • 跨廣告交易平台
   • YouTube 與合作夥伴
4. 輸入下列詳細資料：

   1. 名稱：輸入實驗的 ID，並視需要輸入假設陳述。

   2. 測試時間 (即開始和結束日期)：

      • 開始日期：設定實驗的開始日期。這個日期必須晚於目前日期。

      • 結束日期：視需要設定實驗的結束日期。如果不指定結束日期，實驗會無限期執行。

        設定實驗的開始/結束日期時，請盡可能與實驗中的廣告訂單或委刊項的開始/結束日期保持一致。

        範例說明：

        • 如果您在廣告訂單或委刊項的結束日期之前停止實驗，實驗將不會採用目標對象拆分設定，而會向所有使用者放送廣告。

        系統只會根據實驗開始日期後放送的曝光計算實驗指標。如果委刊項在實驗開始前或結束後處於有效狀態，報表可能會計入其他轉換次數。

   3. 實驗組：選擇您要比較的是廣告訂單還是委刊項。

      • 根據實驗類型選擇至少兩個要用於實驗的廣告訂單或委刊項。

        1. 個別比較：選取要納入實驗的個別廣告訂單。
           • 如果使用多個廣告訂單，您可以調整目標對象拆分，藉此控制實驗中所有 Cookie 在實驗廣告訂單或委刊項之間的分配情形。
           • 如果有多個廣告訂單，您可以將某個廣告訂單設為基準，藉此指定控制組。
        2. 比較群組：選取要納入各個實驗組的廣告訂單群組。
           • 您可以調整目標對象拆分，藉此控制實驗中所有 Cookie 在實驗廣告訂單或委刊項之間的分配情形。
           • 您可以將某個廣告訂單設為基準，藉此指定控制組。

   4. 評估：

      1. 研究目標：選取要在實驗中評估的目標。
         • 轉換
         • 點擊
         • 已完成的影片觀看次數
         • 使用自訂出價時的自訂曝光總值
      2. 信賴區間：選擇「95%」(最常用) 或「90%」。
      3. 參與度 (僅限跨廣告交易平台實驗)：預設採用使用者層級 ID 和隨機劃分方式，盡量提高實驗的參與度。
         • 您可以開啟「排除無法辨識的使用者」，排除沒有第三方 ID 的流量，盡量減少實驗組之間的干擾。
           注意：排除無法辨識的使用者可能會降低實驗參與度，進而導致實驗結果缺少代表性。
      4. 升幅研究設定 (選用項目，僅適用於 YouTube 與合作夥伴實驗)：
         • 勾選「品牌提升」核取方塊。
         • 選取 1 到 3 個要評估的升幅指標。左側欄會顯示評估升幅的資格條件，以及實驗組是否符合資格。想進一步瞭解如何設定品牌提升評估，請參閱這篇文章。
         • 輸入下列問卷調查詳細資料：
           • 您的品牌或產品名稱。
           • 競爭品牌或產品的名稱 (最多 3 個)。
         • 輸入下列問卷調查設定：
           • 語言：問卷調查使用的語言。
           • 目標類型：您要調查的產業或領域。
           • 預期動作：您希望使用者在看到廣告後採取什麼行動。

5. 按一下「儲存」。

評估實驗結果

1. 前往廣告主頁面。
2. 點選左選單中的「實驗」。
3. 在「A/B 版本測試」分頁中，選取「研究名稱」連結查看實驗結果。
   1. 如果您在實驗中設定了品牌提升問卷調查，按一下實驗組名稱旁的「查看品牌提升報表」即可查看研究結果。

4. 在實驗的「結果」分頁中：

   1. 「轉換 (主要目標)」下方會顯示結果摘要，包括可幫助您瞭解基準、變化版本和升幅差異的圖表：

      1. 指標：您可以評估基準與變化版本之間的差異，確認統計顯著程度。
      2. 狀態：指出結果是否具有統計顯著性。如果實驗目標的基準與任一變化版本之間有顯著差異，即表示結果具有統計顯著性。
      3. 測試日期：您設定的實驗日期。
      4. 類型：指出您選擇要比較的是廣告訂單還是委刊項。
      5. 信賴水準：您設定的實驗信賴水準。
      6. 信賴區間：如果開啟了這項設定，系統會套用您為實驗設定的信賴水準。

5. 您可以透過下列方式更新結果：

   • 選取基準：根據預設，圖表中會比較基準與多種變化版本。您可以在「基準」清單中選取要做為基準的變化版本。

   • 選取歸因模式：查看轉換實驗的結果時，您可以在「歸因模式」清單中選擇所需歸因模式。

6. 您可以視需要設定兩個獨立的品牌提升研究做為實驗組，然後查看品牌提升結果。如要在「實驗」中查看品牌提升結果，相關設定必須同時符合下列兩項條件：

   如果您為實驗中的廣告訂單建立了品牌提升研究，品牌提升研究會自動設為「加速評估」。在這種情況下，品牌提升研究會嘗試盡快收集問卷調查回覆，並在收集到指定的回覆數量後停止。
   • 品牌提升研究和實驗的開始日期必須相同。
   • 所選指標和問卷調查問題必須相同。

   • 舉例來說，您可以對兩個廣告活動分別執行品牌提升研究，並在實驗中將這兩個廣告活動設為兩個實驗組。這樣一來，不論實驗是否仍在執行，您都可以在品牌提升研究完成後查看結果。

查看實驗的差異

「Diff」分頁會顯示各實驗分支版本間的差異，方便您確認測試中的變數是否為唯一的差異。您可以在實驗開始前修正任何差異，移除可能的偏誤或避免實驗提供不相關的結果。如果變數組別含有多個委刊項，Display & Video 360 就會進行比較並將差異最小的委刊項自動配對。

請注意，Diff 工具適用於品質確保程序，但可能無法溯及既往。Diff 工具會比較委刊項和廣告訂單目前的現狀，而不是實驗執行時的情況。因此，這項工具會反映實驗結束後發生的所有變化 (包括封存委刊項)，即使這些變化並不會影響實驗。

最佳做法

規劃實驗時，請注意下列事項。

規劃與設定

• 每項實驗僅測試 1 個變數。除了您要測試的單一變數之外，實驗中的所有組別 (基準和所有變化版本) 條件都必須保持一致。

• 透過複製的方式建立實驗專用的廣告訂單或委刊項，不要從頭開始建立。這樣一來，除了做為測試變數的單一維度之外，您可以輕鬆確保實驗中的項目內容完全一致。

• 在實驗中只使用新的廣告訂單或委刊項。如果廣告訂單或委刊項在實驗之前已有其他活動，可能會影響到轉換計數。

• 排除外部的影響。您必須確定實驗以外的委刊項不會與實驗中委刊項的預算競爭。因此，請盡可能針對特定實驗所用的委刊項另設獨立的廣告訂單。

  此外，請盡量不要在實驗以外的任何地方，重複使用您在實驗中使用的廣告素材。

• 設定夠高的展示頻率上限。如果您要在實驗中使用廣告訂單，請確保廣告活動的展示頻率上限不低於以下數值：任何參與實驗的廣告訂單的最高展示頻率上限，加上未用於實驗的其餘廣告訂單的所有展示頻率上限。

  舉例來說，假設您的廣告活動內含 3 份廣告訂單，但實驗只使用了其中 2 份廣告訂單，則該廣告活動的展示頻率上限計算方式如下：兩份參與實驗的廣告訂單所設定的最高展示頻率上限，加上實驗未使用的廣告訂單的展示頻率上限。因此，假如實驗中的廣告訂單展示頻率上限分別是 10 和 8，而未參與實驗的第三份廣告訂單展示頻率上限是 5，則廣告活動的展示頻率上限應為 15。計算方式為 10 (所有實驗相關廣告訂單中的最高展示頻率上限) 加上 5 (廣告活動中未參與實驗的其餘廣告訂單的所有展示頻率上限的總和)。

  如果您的實驗旨在比較委刊項，這個最佳做法也同樣適用於廣告訂單層級的展示頻率上限。

• 謹慎規劃預算和使用速度。實驗中替每個組別所設的預算必須與實驗的目標對象拆分比例成正比。如果您採用不同的預算分配方式，而不是按比例分配預算，那麼預算就會變成實驗的變數之一。同樣地，使用速度也必須設定為相同的方式，否則就會成為實驗中的另一個變數。這個最佳做法不只適用於實驗中的委刊項，您也應該針對實驗未使用、但屬於同一廣告訂單的其他委刊項採用相同做法。這些委刊項的預算支出能力和使用速度將會影響實驗委刊項購買廣告空間的方式，進而影響實驗結果。

• 觸及範圍不大時，請務必謹慎。如果您預期的觸及範圍相對較小 (比如說，您購買的交易廣告空間或目標對象廣告空間觸及範圍較小)，實驗可能會造成信賴區間變寬，以致難以評估各個變化版本的成效。

• 提前完成所有設定。請預留足夠的時間，讓所有廣告素材可在實驗開始前通過審核。

實驗執行期間

• 不要暫停實驗。如果您要暫停廣告活動，但想繼續進行實驗，建議您暫停實驗的組別 (請務必暫停所有必要的組別)，不要暫停整個實驗。當您繼續執行廣告活動時，請務必同時啟動所有實驗分支。

  一旦結束實驗就無法重新啟動。此外，已指派到該實驗的所有實體都將重新向所有使用者放送。

• 統一所有組別的編輯內容。如要在實驗執行期間變更廣告訂單或委刊項，請務必將相同變更內容套用到實驗的所有組別。如果網站不符合品牌合適度規範，建議您運用這項做法移除網站。

注意事項

• 您無法對下列類型的廣告空間執行實驗：
  • 程式輔助保證預設委刊項或內含預設委刊項的廣告訂單。
  • 即時預訂廣告空間
• 實驗在設定完成後必須等待 24 小時才可開始，因此您無法在設定期間選取當天或隔天做為實驗開始日期。
• 單一委刊項或廣告訂單一次只能用於單一有效實驗。
• 實驗開始後，您就無法調整目標對象拆分百分比。
• 目前的實驗架構並未考慮跨裝置活動，因此使用者可能會在行動裝置上看到實驗的某個變化版本，但在電腦上看到基準版本。
• 實驗和其他報表形式 (包括表格中顯示的指標) 計算的轉換次數可能不同，這是因為實驗期間記錄的指標僅限於在實驗進行時放送的曝光。
• 在 A/B 版本測試中建立的升幅研究無法重新評估。如要重新評估品牌提升研究，您必須先停止實驗，並將廣告訂單從品牌提升研究中移除，然後在「升幅研究」分頁中建立新的品牌提升研究。

常見問題

Campaign Manager 360 的指定目標對象區隔與 Display & Video 360 中的實驗有何差異？

Campaign Manager 360 中的指定目標對象區隔著重於在不同的廣告素材之間拆分流量。舉例來說，透過指定目標對象區隔，您可以將某個 Campaign Manager 360 廣告活動的流量分給不同的使用者群組，並向各個區隔投放不同的廣告素材。

Display & Video 360 中的實驗可讓您在廣告訂單或委刊項層級拆分流量，以便測試廣告素材以外的任何設定或可指定維度。

為何無法使用特定廣告訂單或委刊項進行實驗？

當您設定實驗時，系統會隱藏無法用於實驗的廣告訂單或委刊項，或顯示為無法選取的項目。

如要瞭解為何無法在實驗中使用特定廣告訂單或委刊項，點選「工具提示」圖示或許能夠找出原因。

Google 最佳化工具和 Display & Video 360 中的實驗有何差異？

Display & Video 360 中的實驗可讓您比較不同廣告活動策略 (例如指定目標和設定)，Google 最佳化工具則可讓您比較不同網站或到達網頁。

Display & Video 360 中的實驗採用頻率論模型，Google 最佳化工具則採用貝氏模型。前者與其他廣告成效評估解決方案類似，而後者較適合用來管理取樣率偏低的情況。