美团技术团队
·
可信实验白皮书系列02：AB实验基础
内容提要
AB实验基于Rubin潜在结果模型，通过随机分组比较策略A和B的效果。实验组与对照组应独立，以避免相互影响。使用假设检验和置信区间等统计工具评估策略效果，确保结果的准确性和可靠性。
关键要点
-
AB实验基于Rubin潜在结果模型，通过随机分组比较策略A和B的效果。
-
实验组与对照组应独立，以避免相互影响。
-
使用假设检验和置信区间等统计工具评估策略效果，确保结果的准确性和可靠性。
-
个体处理稳定性假设（SUTVA）要求实验单元的行为结果不受其他单元分组的影响。
-
分组随机性要求实验单元进入实验组和对照组由实验者随机分配。
-
参数估计分为点估计和区间估计，点估计用于估计总体参数，区间估计用于估计参数的范围。
-
置信区间提供了总体参数的区间估计，通常以95%置信区间表示。
-
假设检验用于论证某假设是否成立，包括提出假设、选择显著性水平、构造检验统计量等步骤。
-
极限理论是构建统计量分布的理论基础，涉及假设检验与置信区间等过程。
-
后续章节将继续探讨AB实验的相关内容。
延伸解读
AB实验的关键假设
在进行AB实验时，个体处理稳定性假设（SUTVA）和分组随机性是两个关键前提。SUTVA要求实验单元的结果不受其他单元的影响，而分组随机性确保实验组和对照组的随机分配。这两个假设的破坏可能导致实验结果不准确，因此在设计实验时需特别关注这两点。
参数估计的重要性
参数估计在AB实验中至关重要，尤其是点估计和置信区间的使用。点估计提供了对总体参数的单一估计，而置信区间则给出了参数可能落入的范围。理解这两者的差异和应用场景，有助于更准确地解读实验结果，避免因样本波动导致的误判。
假设检验的应用
假设检验是AB实验中验证新策略有效性的核心工具。通过设定原假设和备择假设，结合显著性水平和p值的计算，实验者可以判断新策略是否显著优于旧策略。掌握假设检验的步骤和逻辑，有助于在数据分析中做出更科学的决策。
延伸问答
AB实验的基本原理是什么？
AB实验基于Rubin潜在结果模型，通过随机分组比较策略A和B的效果。
如何确保AB实验的结果准确性？
使用假设检验和置信区间等统计工具评估策略效果，以确保结果的准确性和可靠性。
什么是个体处理稳定性假设（SUTVA）？
SUTVA要求实验单元的行为结果不受其他单元分组的影响，确保实验单元间相对独立。
AB实验中如何进行参数估计？
参数估计分为点估计和区间估计，点估计用于估计总体参数，区间估计用于估计参数的范围。
假设检验在AB实验中有什么作用？
假设检验用于论证新策略是否相对旧策略会带来业务收益，通过统计数据判断两组之间的显著差异。
置信区间的意义是什么？
置信区间提供了总体参数的区间估计，通常以95%置信区间表示，表示参数真值落在该区间的概率。
