美团技术团队
·
可信实验白皮书系列05：准实验
💡
原文中文，约3400字，阅读约需9分钟。
📝
内容提要
准实验适用于无法随机分配实验单元的情况，通过特定假设评估策略效果。以美团履约业务为例，由于溢出效应和小样本限制，需采用双重差分法等准实验设计来量化策略效果。
🎯
关键要点
- 准实验适用于无法随机分配实验单元的情况。
- 经典随机对照实验通过随机分配保证实验组和对照组特征分布相同。
- 在无法随机分配的场景下，需使用准实验评估策略效果。
- 美团履约业务面临溢出效应和小样本限制，需采用双重差分法等准实验设计。
- 溢出效应导致实验单元间相互依赖，需地理隔离样本以减少影响。
- 小样本限制使得无法采用随机分组和溢出效应建模的实验方案。
- 部分策略和产品的特殊性限制了随机分组的可行性。
- 发展标准的准实验设计与评估流程是必要的。
- 双重差分法的基本思想是用实验后的差异减去实验前的差异来估计策略效果。
- 平行趋势假设是双重差分法的关键假设，要求实验组和对照组的趋势保持平行。
- 平行趋势分组可以通过随机划分和检验来保障实验组和对照组的合理性。
- 实验案例展示了配送区域优化实验的设计与评估过程。
- 双重差分法可以扩展到多时点DID模型以处理个体实验时间不一致的情况。
- 在平行趋势不成立的情况下，可以放宽假设或使用条件平行趋势假设进行评估。
- 三重差分法引入第三个差异维度以更精确评估政策影响，但增加了复杂性。
- 除了双重差分法，还有其他准实验方法如断点回归和中断时间序列可供参考。
❓
延伸问答
什么是准实验，它适用于什么情况？
准实验适用于无法随机分配实验单元的情况，通过特定假设评估策略效果。
美团履约业务中为什么需要使用准实验设计？
由于溢出效应和小样本限制，美团履约业务无法采用随机对照实验，因此需要使用准实验设计来量化策略效果。
双重差分法的基本原理是什么？
双重差分法的基本思想是用实验后的实验组和对照组差异减去实验前的差异来估计策略效果。
平行趋势假设在双重差分法中有什么重要性？
平行趋势假设要求实验组和对照组在没有策略影响的情况下，差异不随时间变化，是估计策略效果的关键假设。
在什么情况下可以放宽平行趋势假设？
在平行趋势不成立的情况下，可以放宽假设或使用条件平行趋势假设进行评估。
除了双重差分法，还有哪些准实验方法？
除了双重差分法，还有断点回归和中断时间序列等其他准实验方法可供参考。
➡️
