美团技术团队
·
可信实验白皮书系列03：随机对照实验
💡
原文中文，约15100字，阅读约需36分钟。
📝
内容提要
随机对照实验是美团评估策略的重要工具，通过比较实验组和对照组的表现来判断策略效果。尽管其可信性高，但在样本量小和分组不均的情况下仍面临挑战。为提高实验效能，可采用分层随机分组和配对随机分组等方法，以确保同质性并减少混杂因素的影响。
🎯
关键要点
- 随机对照实验是美团评估策略的重要工具，通过比较实验组和对照组的表现来判断策略效果。
- 随机对照实验的可信性高，但在样本量小和分组不均的情况下仍面临挑战。
- 为提高实验效能，可采用分层随机分组和配对随机分组等方法，以确保同质性并减少混杂因素的影响。
- 经典随机对照实验是AB实验最基础且最重要的实验方式，能够模拟平行世界中的情形。
- 个体处理稳定性假设（SUTVA）要求实验单位的表现是独立的，干预效果稳定。
- 随机化分组能消除混杂变量带来的影响，提升结果可信度。
- 在有限样本量下，随机分出的两部分对象会存在一定差异，需进行同质性检验。
- 随机对照实验的限制包括公平性、溢出效应、小样本量情形和业务影响。
- 美团的实验应用中，经典的随机对照实验通过普通随机分组和完全随机分组两种方式来实现。
- 评估中的统计陷阱包括分配机制陷阱、计算口径陷阱、检验方法陷阱和多重比较陷阱。
- 特殊指标类型的评估方式包括求和型指标和ROI型差值的计算。
- SRM检验用于验证实验中的样本分布是否与预期一致，确保结果可信。
- CUPED方法通过使用实验前的数据来降低方差，提高实验功效。
- 分层随机分组通过在层内随机化，保证实验组和对照组在分层变量上的相似性。
- 配对随机分组通过将实验对象根据关键特征进行配对，确保实验组和对照组的均衡性。
- 协变量自适应分组通过减小组间指标分布不平衡性，进一步保证同质性。
- 区域溢入溢出效应模型用于识别溢出效应并分离直接效应。
- 随机饱和实验通过将样本划分为多个簇，设置不同的实验组与对照组比例，检测真实的实验效应和溢出效应。
- 未来将探索使用马尔科夫决策过程等方法解决无法物理隔离情况下的分流溢出效应。
❓
延伸问答
随机对照实验的主要目的是什么？
随机对照实验的主要目的是通过比较实验组和对照组的表现来判断策略效果。
随机对照实验面临哪些挑战？
随机对照实验面临的挑战包括样本量小、分组不均、溢出效应和公平性问题。
如何提高随机对照实验的效能？
可以通过分层随机分组和配对随机分组等方法来提高随机对照实验的效能，确保同质性并减少混杂因素的影响。
什么是个体处理稳定性假设（SUTVA）？
个体处理稳定性假设（SUTVA）要求实验单位的表现是独立的，干预效果稳定，不受其他单元分组的影响。
CUPED方法在随机对照实验中有什么作用？
CUPED方法通过使用实验前的数据来降低方差，提高实验功效。
随机对照实验的同质性检验有什么重要性？
同质性检验确保实验组和对照组在实验前没有显著差异，从而提高实验结果的可信度。
➡️
