借助实验来测试广告

Display & Video 360 实验是一种集成式测试框架，可帮助您通过比较广告订单或订单项来对单个或一组广告素材、受众群体、出价策略或定位策略进行 A/B 测试。

您可将用户分类为互斥的组和实验，以测试不同的定位条件、设置和广告素材组合，从而找出效果最佳的组合。这些实验结果可用于在投放期间优化广告系列的效果，或者规划未来的广告系列。

借助实验，您可以：

测试会对广告系列产生影响的各个可变维度，包括定位条件、设置、广告素材等等。
生成关键指标报表，例如每次点击费用、点击率、每次转化费用、转化率、每千次展示费用等等。

基于用户的标识

当第三方 ID 不可用时，Display & Video 360 会使用基于用户的标识符帮助您的实验适应第三方已被弃用的情况，方法是使用备用标识符作为划分方式。这样，可对任一次广告展示使用一个标识符的几率就会增加。

例如：

如果第三方 ID 不可用，系统会使用第一方 ID。否则，便会使用查询级标识符。

实验默认使用基于用户的标识和随机划分方式来尽可能提高参与率。您可滤除无第三方 ID 的流量以排除无法识别的用户，藉此减少跨组造成的干扰，但这会减少参与实验的用户数。

概念

实际值

实验的原始结果。表示变体实现的实际转化次数。

实验组

实验组可以包含：

单个订单项或广告订单，或者

一组订单项或广告订单

例如，基准及其变体是实验中的不同实验组。

基准

用于控制实验的比较标准的订单项或广告订单。您可制作变体并将其与原始基准比较，以进行测试。

置信区间

这表示变体之间的实际差异幅度会落在所报告范围内的确信程度。您可以指定真实值介于所报告范围内的概率为 90% 或 95%。

例如，90% 置信区间表示：在 100 个重复的测试中，应该会有 90 个测试可表明差异幅度落在所报告范围内。

标准化值

表示通过按比例调整基准或变体实际值而计算得出的与 100% 受众群体分配百分比对应的点击次数、转化次数、展示次数或收入最高值。

例如，如果某个订单项获得的受众群体分配百分比是 34%，其实际转化次数是 170,000，那么如果同一订单项获得的受众群体分配百分比是 100%，则该订单项的标准化值将是 500,000。

P 值

表示计算出的概率，以反映碰巧出现差异的可能性。

用于确定结果的统计显著性，以测试基准和变体之间存在实际效果差异的概率：

p 值越低，表示效果差异越明显，结果越具有显著意义。

p 值越高，表示结果的偶然性越高，结果越没有显著意义。

变体

测试单个变量的实验性订单项或广告订单（相对于基准订单项或广告订单而言）。

设置实验

找到您的广告客户，点击左侧菜单中的实验。
在 A/B 测试标签页下，选择新建。
选择以下任一选项：
- 跨广告交易平台
- YouTube 及合作伙伴
输入以下详细信息：
1. 名称：输入实验的标识符和（可选）假设陈述。
2. 测试时长：开始日期和结束日期：
  - 开始日期：设置实验的开始时间。该日期必须晚于当前日期。
  - 结束日期：可酌情设置实验的结束时间。如果您不指定结束日期，实验将无限期地运行。
    应尽可能使实验的开始日期和结束日期与实验所涵盖的广告订单或订单项的开始日期和结束日期保持一致。
    
    例如：
    
    如果您在广告订单或订单项到达结束日期前停止实验，该实验将不会遵循受众群体分配百分比，也不会将相应广告投放到所有用户。
    
    实验中的指标完全基于实验开始日期之后的广告展示。如果相应订单项在实验日期之前或之后处于有效状态，报表可能会统计出不同的转化次数。
3. 测试组：选择您是想比较广告订单还是订单项。
  - 根据您的实验类型，选择至少 2 个要在实验中使用的广告订单或订单项。
    1. 比较个体：选择要纳入到实验中的具体广告订单。
      - 如果使用多个广告订单，您可以调整受众群体分配百分比，以控制实验中的所有 Cookie 在实验所涵盖的广告订单或订单项中的分配情况。
      - 对于多个广告订单，您可以通过将某个广告订单设为基准来标识对照组。
    2. 比较群组：选择要纳入每个实验组中的广告订单组。
      - 您可以调整受众群体分配百分比，以控制实验中的所有 Cookie 在实验所涵盖的广告订单或订单项中的分配情况。
      - 您可以通过将某个广告订单设为基准来标识对照组。
4. 衡量：
  1. 研究目标：选择要在实验中衡量的目标。
    - 转化次数
    - 点击次数
    - 已完成的视频观看次数
    - 自行指定的展示机会价值的总额（使用自定义出价时）
  2. 置信区间：选择 95%（最常见）或 90%。
  3. 参与率（仅限跨广告交易平台的实验）：此选项默认设为让系统使用用户级标识符和随机划分方式来尽可能增加参与实验的用户数。
    - 您可开启排除无法识别的用户以排除无第三方 ID 的流量，藉此尽可能减少跨组造成的干扰。
      
      注意：排除无法识别的用户可能会导致您的实验缺乏代表性，因为参与实验的用户数会减少。
  4. 提升效果研究设置（仅限可选以及 YouTube 及合作伙伴实验）：
    - 选中“品牌提升效果研究”复选框。
    - 选择 1 到 3 个要评测的提升效果指标。左侧边栏中会显示评测提升效果的资格条件，以及实验组是否符合条件。详细了解如何设置品牌提升效果评测。
    - 输入以下调查问卷详细信息：
      - 您的品牌/产品名称。
      - 竞争品牌或产品的名称（最多 3 个）。
    - 输入以下调查问卷设置：
      - 语言：调查问卷使用的语言。
      - 对象类型：您要调查的行业或领域。
      - 预期操作：您希望用户在看到您的广告后执行的操作。
点击保存。

评估实验结果

从广告客户页面着手。
在左侧菜单中，前往实验。
在 A/B 测试标签页下：选择研究名称链接即可查看实验结果。
1. 如果您在实验中设置了品牌提升效果问卷调查，请点击测试组名称旁边的查看品牌提升效果报告，以查看研究结果。
在实验的结果标签页中：
1. 在转化次数（主要目标）下方，您可以查看结果摘要，包括一个供您了解基准、变体和升幅之间差异的图表：
  1. 指标：您可评估基准与变体之间的差异，以检查是否具有统计显著性。
  2. 状态：指示结果是否具有显著的统计意义。当实验目标的基准与任何变体之间的差异幅度很大时，即意味着结果具有显著统计意义。
  3. 测试日期：您为实验设置的日期。
  4. 类型：反映您选择是要比较广告订单还是要比较订单项。
  5. 置信度：您为实验设置的置信度。
  6. 置信区间：开启此选项后，系统会应用您为实验设置的置信度。
您可通过以下方式更新结果：
- 选择一项基准：默认情况下，图表会将基准与多个变体进行比较。您可从基准列表中选择一个变体用作基准。
- 选择一个归因模型：查看转化实验的结果时，您可从归因模型列表中选择一个归因模型。
（可选）您可将两项相互独立的品牌提升研究分别设置为实验组，并查看品牌提升结果。若要在实验页面中查看品牌提升结果，必须满足以下要求：

如果您在实验中为广告订单创建了品牌提升效果研究，则系统会将该品牌提升效果研究自动设置为加速模式下的提升效果评测。品牌提升效果研究将尝试尽快收集调查问卷回复；一旦收集到的回复的数量达到目标值，研究会自动停止。
- 品牌提升效果研究和实验的开始日期必须相同。
- 所选的指标和调查问卷中的问题必须相同。
- 例如，制作两个广告系列：您可以针对每个广告系列开展品牌提升研究，然后创建一个包含两个组（分别代表每个广告系列）的实验。如果品牌提升效果研究已完成，那么即使实验仍在运行，您也可以查看结果。

查看实验的差异

您可转到差异标签页以查看实验分支之间的差异。这样，您就能了解到唯一的差异是否在于您的测试所用的变量。您可在实验开始之前修正所有差异，从而消除潜在偏差或消除实验会提供无关结果的风险。当变体组有多个订单项时，Display & Video 360 会将其与基准组进行比较，并自动将差异最小的订单项两两匹配。

请注意，Diff 工具适用于质量检查流程，但可能无法溯及既往。Diff 工具会比较订单项和广告订单的现状，而不是它们在实验运行时的状况。因此，Diff 工具会反映实验结束后发生的所有更改（包括归档订单项的操作），即使相应更改并未对实验产生影响。

最佳做法

在规划实验时，请注意以下事项。

规划和设置

每次实验仅测试 1 个变量。除需测试的单个变量以外，实验的其余所有组（基准和任何变体）都应保持相同。
通过复制为实验创建广告订单或订单项，而不是从头创建。这样可让您更轻松地确保：除了要作为变量进行测试的单个维度以外，实验中的其余项目都完全相同。
在实验中仅使用新的广告订单或订单项。如果广告订单或订单项包含之前的活动，并且此活动不在实验范围内，可能会影响转化计数。
消除外部影响。请确保实验范围外的订单项不会与实验中的订单项竞争预算。因此，请尽量另行设置一个广告订单来涵盖要在给定实验中使用的所有订单项。

此外，请尽量不要在实验范围外的任何位置重复使用实验中正在使用的广告素材。
设置足够高的频次上限。如果您在实验中使用了广告订单，请确保所属广告系列的频次上限至少相当于通过以下方式计算得出的值：参与实验的所有广告订单中最高的频次上限 + 未参与实验的其余广告订单的所有频次上限之和。

例如，如果您的某个广告系列包含三个广告订单，但只有两个广告订单参与了实验，那么您可通过以下方式确定该广告系列的最低频次上限：参与实验的两个广告订单中最高的频次上限 + 未参与实验的广告订单的频次上限。因此，如果参与实验的这两个广告订单的频次上限分别为 10 和 8，并且第三个广告订单（未参与实验）的频次上限为 5，该广告系列的频次上限应设为 15。此值是通过以下方式确定的：10（与实验相关的所有广告订单中最高的频次上限）+ 5（广告系列中不在实验范围内的所有剩余广告订单的频次上限之和）。

如果您的实验是对订单项进行比较，上述最佳做法也适用于广告订单级别的频次上限。
谨慎规划您的预算和投放节奏。为实验的每个组设置的预算应与实验的受众群体分配百分比成比例。如果您以不同方式分配预算，而不是按比例进行分配，则会使预算变成实验中的一个变量。同样，投放安排也应如此，否则也会变成实验中的另一个变量。此最佳做法不应局限于实验中的订单项，还应扩展到虽不在实验范围内但在同一广告订单中的其他订单项。这些其他订单项的预算支出能力和投放安排会影响实验订单项购买广告资源的方式，继而影响实验结果。
覆盖面受限时务必小心。如果您预计覆盖面会相对有限（例如，您需购买覆盖面受限的交易广告资源或受众群体广告资源），实验可能会产生宽泛的置信区间，这可能会使变体的效果变得难以评估。
提前敲定各项设置。实验应留有足够的时间，确保所有广告素材在开始投放前均获得批准。

实验运行时：

不要暂停实验。如果您需要暂停某个广告系列，但打算继续运行实验，请暂停实验的各个组（确保暂停所有组），而不是暂停实验本身。然后，在您恢复该广告系列时，请确保同时激活所有组。

如果您结束了某项实验，便无法重新启动该实验。此外，分配给该实验的所有实体都会重新开始向您的所有用户投放广告。
统一修改。在实验运行期间，如果您要改广告订单或订单项，请确保将相应更改应用于实验的所有组。您可能需要这样做才能移除不符合品牌适宜性指南的网站。

注意事项

无法针对以下类型的广告资源开展实验：
- 有保证的程序化默认订单项或包含默认订单项的广告订单
- 即时预订型广告资源
实验在设置 24 小时后会开始运行。设置过程中不能选择今天或明天作为实验开始日期。
对于每个订单项或广告订单而言，在给定时间只能在 1 项有效实验中使用。
一旦实验开始，您便无法调整受众群体分配百分比。
目前，实验框架无法进行跨设备感知，因此可能会出现以下情况：用户在移动设备上看到的是实验的一个变体，但在计算机上看到的却是实验基准。
在实验和其他报表方式（包括表格中显示的指标）之间，统计的转化次数可能会有所不同。这是因为，在实验期间记录的指标仅考虑在实验运行期间展示的广告。
在 A/B 测试中创建的提升效果研究无法重新评测。如果您想重新评测品牌提升效果研究，则需要停止实验，从品牌提升效果研究中移除相应广告订单，然后在“提升效果研究”标签页中创建新的品牌提升效果研究。

常见问题解答

Campaign Manager 360 的受众群细分定位与 Display & Video 360 中的实验有何区别？

Campaign Manager 360 中的受众群细分定位主要用于在不同广告素材之间分配流量。例如，借助受众群细分定位，您可以将 Campaign Manager 360 广告系列的流量分配到不同的用户组中，并向各细分受众群投放不同的广告素材。

Display & Video 360 中的实验可让您在广告订单或订单项级别上分配流量，以便能够测试任何设置或可定位维度（不仅仅是广告素材）。

为何我无法将特定广告订单或订单项添加到实验中？

无法添加到实验中的广告订单或订单项会在视图中隐而不见，或者在您设置实验时显示为不可选择。

您也许可以使用提示图标来确定无法向实验添加广告订单或订单项的原因。

Google 优化工具和 Display & Video 360 中的实验有何区别？

利用 Display & Video 360 中的实验，您可以比较广告系列策略，例如定位条件和设置；而利用 Google 优化工具，您可以比较不同的网站或着陆页。

Display & Video 360 中的实验使用的是频次模型（与其他广告效果衡量解决方案相似），而 Google 优化工具使用的是贝叶斯模型，这种模型更适合管理样本规模较低的情形。

该内容对您有帮助吗？

您有什么改进建议？