基于提升度的排名：大规模 A/B 测试的成本效益方法
内容提要
本文提出了一种基于最佳臂多臂老虎机的连续监控框架，替代传统A/B测试，以控制虚假发现率(FDR)。通过分层贝叶斯估计和自适应多重检验方法，解决了多因素相关性和早期停止等问题，提升了信号检测能力。此外，研究探讨了在线控制FDR的广义Alpha-investing过程及其改进，提供了新的假阳性发现比例控制方法。
延伸解读
从A/B测试到连续监控的转变
传统A/B测试通常需要预先确定样本量和测试时长，而本文提出的基于最佳臂多臂老虎机的连续监控框架，允许在测试过程中动态调整样本分配，并利用在线虚警率控制算法和顺序p值，在优化样本使用的同时保持较低的虚假发现率。这种转变有助于解决早期停止带来的统计偏差问题，并提升对真实信号的检测能力。
分层贝叶斯估计应对多因素相关性
在A/B测试中，多因素和因素之间的相关性常导致传统方法失效。本文采用分层贝叶斯估计方法，通过部分池化信息来综合历史测试数据，从而更准确地估计各因素的效应。这种方法不仅能够处理因素间的相关性，还能从过去的测试中提取全球学习，提升新测试的分析效率。
在线FDR控制与Alpha-investing的改进
针对在线多重检验中的FDR控制问题，本文研究了广义Alpha-investing过程，并证明其在特定条件下能同时控制FDR和假阳性探查率。此外，通过引入mem-FDR等新指标，缓解了“piggybacking”和“alpha-death”问题，为实际应用提供了更稳健的在线错误控制工具。
自适应多重检验与Benjamini-Hochberg定理的反转
本文提出了一种新的自适应多重检验方法，利用广义Storey估计和加权版本，在有限样本下控制错误发现率。同时，阐述了Benjamini-Hochberg定理的反转，为假阳性发现比例控制提供了新视角。这些方法在保持统计功效的同时，增强了对于复杂假设结构的适应性。
Q&A
什么是基于最佳臂多臂老虎机的连续监控框架？
这是一个替代传统A/B测试的新框架，利用在线虚警率控制算法和顺序p值，实现样本优化和低虚假发现率(FDR)。
如何解决A/B测试中的多因素相关性问题？
通过分层贝叶斯估计方法，可以有效解决多因素相关性和早期停止等问题，提升信号检测能力。
广义Alpha-investing过程的作用是什么？
该过程用于在线控制FDR，能够在特定条件下控制假阳性探查率。
新提出的自适应多重检验方法有什么特点？
该方法依靠真空假设数量的估计，控制有限样本下的误差发现率，采用广义Storey估计和加权版本。
Benjamini Hochberg定理的反转有什么意义？
反转该定理提供了一种新的假阳性发现比例控制方法，增强了多重检验的有效性。
如何通过历史数据评估新推荐系统的收益？
可以计算新版本可能带来的收益提升，并通过在线广告个性化产品推荐进行商业实验来检验这些估计值。
