强化学习中 Switchback 设计的分析

该研究详细调查了 A/B 测试中的切换设计，通过在基准和新策略之间进行时间交替以评估其对结果平均处理效应（ATE）估计器准确性的影响。研究表明，当奖励误差大多正相关时，切换设计比每日轮换策略的交替日设计更有效；增加策略切换频率往往会降低 ATE 估计器的均方误差（MSE）；然而，当误差不相关时，所有设计都变得渐近等价；而当大多数误差为负相关时，交替日设计成为最优选择。这些洞见为 A/B 测试中实验设计提供重要的指导，同时为强化学习中政策评估的最优设计策略提供了全面的理解。