美团技术团队
·
可信实验白皮书系列04：随机轮转实验
💡
原文中文，约6400字，阅读约需16分钟。
📝
内容提要
时间片轮转实验是一种通过时间随机化设计的实验方法，旨在解决AB实验中的溢出效应和样本量不足问题。该方法通过在实验期间切换实验组与对照组，比较不同时间段的表现差异，从而提高实验的可信度和效率。
🎯
关键要点
- 时间片轮转实验是一种基于时间随机化的实验设计，旨在解决AB实验中的溢出效应和样本量不足问题。
- 该实验方法通过在实验期间切换实验组与对照组，比较不同时间段的表现差异来提高实验的可信度和效率。
- 溢出效应是指实验单元的结果受到其他单元分组的影响，可能导致实验效应估计偏差。
- 样本量不足时，结合时间片轮转可以在相同实验时间内获得更多样本量，提高实验效率。
- 时间片轮转实验在履约场景中被广泛应用，但不适用于用户感知明显的实验策略。
- 抛硬币随机轮转实验通过独立的伯努利试验随机决定实验单元在时间片的分组，增加样本量以降低方差。
- 完全随机轮转实验允许指定实验组和对照组的天数，以确保实验结果的可靠性和有效性。
- 配对随机轮转实验通过将城市划分为两个特征相似的半城，减少随机误差并提高实验检测灵敏度。
- 异常场景处理方法包括异常值剔除和协方差分析，以应对突发性外部干扰对实验结果的影响。
- 携带效应是时间维度的溢出，需通过模型估计、消除时长或时间序列模型来消除其影响。
- 交替轮转实验在时间片中交替分配实验组和对照组，但评估时需注意模型假设和样本量问题。
❓
延伸问答
什么是时间片轮转实验？
时间片轮转实验是一种基于时间随机化的实验设计，通过在实验期间切换实验组与对照组，比较不同时间段的表现差异，以提高实验的可信度和效率。
时间片轮转实验如何解决样本量不足的问题？
通过结合时间片轮转，实验单元与时间片的分流轮转可以在相同实验时间内获得更多样本量，从而提高实验效率。
什么是溢出效应，它对实验结果有什么影响？
溢出效应是指实验单元的结果受到其他单元分组的影响，可能导致实验效应估计偏差，从而影响实验结论的可信度。
抛硬币随机轮转实验的基本原理是什么？
抛硬币随机轮转实验通过独立的伯努利试验随机决定实验单元在时间片的分组，增加样本量以降低方差。
配对随机轮转实验如何减少随机误差？
配对随机轮转实验通过将城市划分为两个特征相似的半城，确保实验组和对照组在同一时间内存在，从而减少随机误差。
在时间片轮转实验中，如何处理异常场景？
可以通过异常值剔除和协方差分析等方法来应对突发性外部干扰对实验结果的影响。
➡️
