学习指标以最大化加速 A/B 测试的功效
原文中文,约300字,阅读约需1分钟。发表于: 。通过从短期信号中学习指标,我们能够提高在线控制实验的统计功效,减少实验成本,同时有效降低 type-II 错误。
研究人员在短视频平台ShareChat上成功应用了方差缩减技术,提高了A/B测试的置信水平或减少了数据点的数量。使用尽可能多的协变量并不是最有效的方法,而基于梯度提升决策树预测器的控制变量是最好的选择。研究人员还讨论了大规模实施这些方法的可行性和成本降低。
通过从短期信号中学习指标,我们能够提高在线控制实验的统计功效,减少实验成本,同时有效降低 type-II 错误。
研究人员在短视频平台ShareChat上成功应用了方差缩减技术,提高了A/B测试的置信水平或减少了数据点的数量。使用尽可能多的协变量并不是最有效的方法,而基于梯度提升决策树预测器的控制变量是最好的选择。研究人员还讨论了大规模实施这些方法的可行性和成本降低。