基于校准然后计算的深度点击率预测模型中减少方差的度量框架
内容提要
本文综述机器学习评估中的关键问题：数据采样、参数初始化与超参数显著影响结果；方差缩减技术可提升A/B测试置信度并减少数据量；深度度量学习优化类间类内方差；分类器存在过度置信问题，不同校准度量结论可能矛盾；偏差与方差在样本级别上一致，可从校准和神经坍缩解释；并提出可微替代预期校准误差优化校准，以及CEV和SDE指标衡量类别偏差。
延伸解读
方差缩减在A/B测试中的实际收益
文章提到，在ShareChat的比率指标上应用方差缩减技术后，77%的情况下能提高A/B测试的置信水平，或在保持相同置信水平下减少30%的数据点。这提示我们，在工业级A/B测试中，合理使用控制变量（尤其是基于梯度提升决策树的预测器）可以有效降低所需样本量，从而节省实验成本。但需注意，盲目加入大量协变量可能适得其反。
校准度量结论矛盾带来的评估挑战
文章指出，不同的校准度量标准可能对分类器的校准度给出截然不同的评价结论。这意味着，在实际应用中，仅依赖单一指标（如准确率校准度）可能产生误导。研究还开源了度量库，为全面评估校准提供了工具。因此，在安全关键应用中，应综合多种校准度量，避免因指标选择偏差而做出错误判断。
偏差-方差一致性与神经坍缩的解释
传统观点认为偏差与方差存在权衡，但文章表明，在深度学习分类模型中，样本级别上平方偏差近似等于方差，即两者一致。这一现象从校准和神经坍缩两个理论角度得到解释：良好校准的模型会表现出偏差-方差一致性，而神经坍缩则提供了近似相关性的视角。这为理解深度模型的泛化行为提供了新思路。
可微校准优化与类别偏差度量
文章提出可微替代预期校准误差（DECE），可直接优化校准质量，并用于元学习框架调整超参数。同时，引入CEV和SDE两个指标定量评估多类分类中的类别偏差。这些方法不仅可用于公平性衡量，还能满足偏差度量的特定需求。实验表明，它们在性能上具有竞争力，为校准和偏差评估提供了新工具。
Q&A
在机器学习基准测试中，哪些因素对结果影响显著？
数据采样、参数初始化和超参数选择对结果的影响显著。
方差缩减技术在A/B测试中有什么实际效果？
在ShareChat的比率指标上，方差缩减技术可以在77%的情况下提高A/B测试的置信水平，或者以30%的数据点减少保持相同的置信水平。
深度度量学习如何优化类间和类内方差？
深度度量学习通过学习将数据样本映射到代表性嵌入空间的表示函数，利用精心设计的采样策略和损失函数，优化产生具有低类间和高类内方差的区分性嵌入空间。
分类器的过度置信问题是什么？不同校准度量会带来什么影响？
过度置信指分类器给出的置信度高于其实际准确率。不同的校准度量标准对于分类器校准度的优化与评价可能会带来截然不同的结论。
偏差和方差在样本级别上有什么关系？
对于深度学习分类模型集合，偏差和方差在样本级别上是一致的，对于正确分类的样本点，平方偏差近似等于方差。这一现象可以从校准和神经坍缩两个理论角度解释。
有哪些新的指标可以衡量模型的类别偏差？
提出了Combined Error Variance (CEV) 和 Symmetric Distance Error (SDE) 两个指标，用于定量评估两个模型的类别偏差相对多少，并可用于衡量公平性和偏差。
