实验团队使用什么方法计算置信区间和统计显著性？
他们将“刀切法”重采样这一方法应用于分桶数据，以计算指标变动百分比的样本方差。然后，使用 95％ 置信区间进行双尾显著性测试。
为什么要进行数据分桶？
对数据进行分桶可降低微小观测误差的影响。如果您想详细了解数据分桶的意义，建议从此处着手。
即使数据不呈正态分布，只要每个桶内有足够的观察对象，则基于中心极限定理，分桶数据也将大致呈正态分布。我们使用“刀切法”来计算置信区间，以解释每个桶的观察对象不足的情况。
为什么使用“刀切法”重采样？
由于“刀切法”重采样是应用广泛的通用方法，Google 将该方法用作标准。此方法对检测离群值和减小样本估算偏差也非常有效。此外，此方法在因数据量不足，导致使用中心极限定理无法获得准确估算值的情况下特别有用。因此，此方法可用于分桶数据，以进一步提高置信区间的准确性。
您可以在此处查看“刀切法”重采样的简要介绍。如果您希望进一步了解此方法的实用性，请参阅这篇论文了解详情。
外部广告客户能否在事后汇总多次实验结果，并在汇总级别重新计算统计信息？
否。广告客户无法访问用户级数据，因此无法重新创建分桶和运行“刀切法”算法。目前，我们尚未提供代表客户使用该方法的内部工具。
定位是否会影响竞价份额分配应用于实验和原始广告系列的方式？
定位不会对分配造成影响。在应用定位之前，系统会将分配比例应用于符合条件的竞价。例如，如果分配比例为 50:50，则意味着实验和原始广告系列参与竞价的次数相同。
为确保运行的是真正意义上的 A/A 测试，需满足哪些条件？
A/A 测试是指在测试期间实验和原始广告系列完全相同（广告系列中的广告/广告组/广告设置等均相同，广告审批方面也没有差异）。在 A/A 测试期间，如需进行任何更改，都需要对实验组和原始广告系列组同时做出。
A/A 测试的预期结果是什么？
在点击次数、展示次数、点击率和每次点击费用方面，两组不应存在有统计显著性的差异。
基于搜索的实验组和基于 Cookie 的实验组之间有何不同？
这两个选项可以决定不同的用户处理方式。使用基于搜索的实验组，每当出现搜索时，用户就会被随机分配到实验广告系列或原始广告系列。如果同一用户搜索多次，则可能既会看到实验广告系列，也会看到您的原始广告系列；使用基于 Cookie 的实验组，则无论用户执行多少次搜索操作，都只会看到您广告系列的一个版本。这样做有助于确保不让其他因素影响您的结果。
使用了多少个分桶？
对照组和实验组中均使用了 20 个分桶。如果分桶过多，则可能需要很长时间才能获得具有统计学意义的结果；如果分桶过少，则置信区间计算可能不准确。这要求在实际需求和统计能力之间取得平衡。
