学习指标以最大化加速 A/B 测试的功效
内容提要
该文汇总多项研究：提出帕累托最优代理指标，兼顾预测精度与灵敏度，加速工业推荐决策；将方差缩减用于ShareChat比率指标，提升A/B测试置信度或减少数据量；用幂律度量区分预训练模型质量；以分层贝叶斯解决A/B测试多因素、早停等问题；还涉及线下反事实评估、参与者包含率预测、测量动态范围及中期测试等。
延伸解读
代理指标的多目标优化
文章提出帕累托最优代理指标方法，同时优化预测精度和灵敏度，并给出多目标优化算法。这有助于在工业推荐系统中快速评估新功能，提高决策速度和质量。该方法强调代理指标需兼顾准确性与对长期目标的敏感性，为实验评估提供更可靠的依据。
方差缩减在比率指标中的应用
在ShareChat的A/B测试中，方差缩减技术应用于比率指标，77%的情况下可提升置信水平，或以30%的数据量减少保持相同置信水平。但文章指出，回归中包含过多协变量可能适得其反，基于梯度提升决策树预测器的控制变量最为有效，这为大规模实施提供了成本降低的可行路径。
分层贝叶斯解决A/B测试限制
针对A/B测试中的多因素相关性、早期停止的顺序测试以及从过去测试中提取全球学习等常见限制，文章采用分层贝叶斯估计方法。通过数值模拟和大量实际测试，证明了该方法能有效处理这些复杂问题，提升测试分析的准确性和效率。
幂律度量区分预训练模型质量
文章利用基于规范的容量控制指标和基于幂律的重尾自正则化理论，对数百个公开预训练模型进行元分析。发现基于幂律的度量能更好地区分训练良好与质量低劣的模型，为模型评估提供了更敏感的指标，有助于筛选高质量预训练模型。
Q&A
什么是帕累托最优代理指标，它如何加速工业推荐系统的A/B测试？
帕累托最优代理指标是一种同时优化预测精度和灵敏度的方法，通过多目标优化算法进行实验评估和决策，从而大幅提高工业推荐系统启动新功能的决策速度和质量。
在ShareChat的A/B测试中，方差缩减技术如何提升比率指标的置信度？
在ShareChat的A/B测试中，应用方差缩减技术后，77%的情况下可以提高置信水平，或者以30%的数据点减少保持相同的置信水平。同时，基于梯度提升决策树预测器的控制变量是最有效的，而包含尽可能多的协变量的常见方法适得其反。
基于幂律的度量方法如何区分预训练模型的质量？
基于幂律的度量方法利用基于规范的容量控制指标和重尾自正则化理论，对数百个公开预训练模型进行元分析，发现它能更好地区分良好培训的模型和质量低劣的模型。
分层贝叶斯估计如何解决A/B测试分析中的常见限制？
分层贝叶斯估计方法可以解决A/B测试分析中的多因素和因素间相关性、早期停止的顺序测试，以及从过去测试中提取综合全球学习的能力等限制。通过数值模拟和大量实际A/B测试，证明了其实际价值。
如何利用线下反事实评估方法预测新推荐系统版本的收益提升？
基于历史数据的线下评估方法可以计算新推荐系统版本可能带来的收益提升，提供对实际环境下偏差建模的反事实估计量的变量，并通过在线广告个性化产品推荐引起商业指标相关性的商业实验来检验这些估计值。
在在线A/B测试中，如何准确预测参与者的包含率？
提出了一种新颖、直接且可扩展的贝叶斯非参数方法，用于预测在线A/B测试中个体接受干预的比率，并在实验和模拟数据上展示了相对于现有方法的卓越性能。
什么是测量动态范围，它如何帮助理解评估指标差异对人类的意义？
测量动态范围旨在提供关于分数差异的集体理解，包括测量之间以及内部分数之间的意义，即对于人类来说，系统之间需要多大的指标差异X才能被注意到。在ToShip23数据集上评估，发现了评估指标达到对人类有意义的系统级差异时的差值，通过成对系统准确性衡量，并探讨了更细粒度特征的影响。
中期测试在机器翻译评估中有什么优势？
中期测试是一种评估方法，在具有较小预算的情况下提供了更有效的评估方式，并可获得更高的评估功率和效率，在机器翻译评估领域非常有用。
