本文将介绍应用效果提升实验方面的最佳做法。
本页内容
创建新实验前
了解如何根据您的使用情形有效利用应用效果提升实验
什么是应用效果提升实验？借助应用效果提升实验，您可以运行实验并了解向现有广告系列添加视频素材资源后的效果提升情况。
-
根据您的使用情形，建议您在使用应用效果提升实验时采用以下方法：
- 首次试用视频素材资源：如果您尚未在广告系列中使用视频，应用效果提升实验可帮助您了解添加视频素材资源后的效果提升情况
- 根据方向性结果从多项视频素材资源中选择最优资源：如果您有多项视频素材资源，应用效果提升实验可以帮助您了解以下方面：
- 是否所有视频素材资源都能够助您提升效果
- 每项视频素材资源如何以定向方式助力提升整体效果
最低预算和出价
我们建议将预算和出价设置为允许广告系列每天至少获得 100 次（150 次以上为最佳）转化，以确保我们的模型能够优化您的广告系列。智能出价模拟器可帮助您更好地了解更改预算和出价策略目标后可能会获得多少转化。
- 实验中每天获得的转化次数越多，实验取得具有统计显著性的结果的时间就越短。
- 如果您的基准广告系列包含大量现有视频素材资源（约超过 50 项），那么每日评估每项素材资源所需的预算可能会大幅增加。
广告系列出价策略目标（目标每次安装费用/目标每次互动费用/目标广告支出回报率）
如果您的广告系列受预算限制，请确保您的实际每次安装费用或每次互动费用不超过目标每次安装费用或每次互动费用的 2 倍（目标广告支出回报率也类似）。这将有助于确保我们不会在冷启动/降低出价时遇到异常情况。
一般来说，不受预算或出价限制的广告系列可以更快地取得更准确的结果。
检查现有视频素材资源
如果广告系列受预算限制
- 如果您当前的广告系列没有任何视频，或者有视频但没有支出，那么尝试添加新视频很可能不会带来效果提升。
- 不妨考虑增加广告系列的预算，直到预算不再受到限制，然后评估是否需要运行效果提升实验。
如果广告系列不受预算限制
- 如果您当前的广告系列包含视频素材资源，但它们在广告系列总支出中所占的百分比较低，那么尝试添加新视频素材资源很可能不会带来效果提升。
- 不妨考虑提高目标每次转化费用（或降低目标广告支出回报率），直到现有视频素材资源的支出达到较为有效的金额，然后评估是否需要运行效果提升实验。
实验设置
实验目标
- 最好选择符合广告系列优化目标的实验指标。
- 例如，如果您的广告系列以提高安装量为目标进行优化，请选择“安装量”或“每次安装费用”指标。
- 除非您的广告系列不受预算限制，否则最好选择每次转化费用（每次安装费用/每次应用内操作费用）而不是转化量指标。
实验组
- 在大多数情况下，建议您采用 50/50 的流量和预算分配比例，尽量以最低费用最快地获得实验结果。
- 在某些情况下，比如您认为所测试的素材资源会造成较大的负面影响，则可以使用不同的流量分配比例（例如，在实验广告系列中分配 40%，在基准广告系列中分配 60%）
置信度
- 我们建议您采用 80% 的置信度，因为与 85% 或 95% 的置信度相比，此置信度通常可在较短时间内、以较低的费用取得准确性良好的实验结果。
- 如果您不确定要为实验选择哪种所需置信度，可以参阅附录中的表格，了解达到特定置信度所需的转化次数。
实验日期
- 我们建议您尽量运行实验 30 天，以争取获得确定性实验结果。
实验健康检查
- 健康检查提供一系列诊断和检查，以提高获得确定性实验结果的可能性。我们建议您修正使用 iOS 应用（目前不受支持）等严重问题（以红色显示），并尽量修正预算限制等中等严重程度问题（以黄色显示）。详细了解应用效果提升实验创建健康检查简介。
一般建议
与宣传同一应用的其他广告系列的互动情况
- 确保该账号没有其他广告系列在与所测试广告系列相同的地理位置中宣传同一应用，以避免广告系列自相竞争。
违规问题
- 最后，修正广告系列中可能出现的违规问题（如果可能），因为这些问题可能会导致实验中的某个广告系列无法投放，或者实验结果延迟。
实验运行期间
预算和效果目标更改
- 我们建议您在实验的前 7 天内不要更新这些设置。
- 如果这段时间过后需要进行更改，最好每天进行少量更改，而不是一次性进行大量更改。
素材资源更改
- 如果您需要对基准广告系列中的素材资源进行更改，请确保同时在相应的实验组广告系列中执行相同的更改。
监控实验情况
- 我们建议排除前 5 至 10 天的实验结果（使用日期选择器），以避免广告系列学习期对指标产生影响。
- 您可以选择使用 3 个置信度（80%、85%、95%）来监控实验结果。
- 如果您在实验广告系列中添加了多项视频素材资源，则可以在 Google Ads 报告中查看单项视频素材资源的效果。
实验结束后
解读实验结果
- 具有统计显著性的结果
- 两个实验目标均取得了正面结果：建议您向基准广告系列以及您账号中其他适用的广告系列（例如位于不同地理位置但有类似目标的广告系列）宣传相关素材资源，以提升整体成效。
- 两个实验目标均取得了负面结果：建议您不要向广告系列或账号宣传相关素材资源。
- 实验目标既有正面结果，也有负面结果：建议您根据自己的业务需求和投资回报率限制来做出决策。例如，如果每次安装费用增加了 5%，安装次数增加了 10%，那么在平均每次安装费用有所增加的情况下，如果广告客户愿意提高安装次数，则应宣传相关素材资源。
- 没有统计显著性的结果
- 我们建议您根据自己的业务需求和风险承受能力来做出决策。例如，如果广告客户可以接受方向性结果，则宣传结果为正面但不具有统计显著性的素材资源是合理的。另外，我们建议对相关素材资源进行更改，然后执行另一项实验。
