有选择的学习：带动态正则化的鲁棒校准
内容提要
本文综述深度神经网络置信度校准研究，指出模型常过度自信，影响安全关键应用的可靠性。研究提出贝叶斯神经网络、深度集成、核嵌入校准回归、可微分组损失、Focal Loss与温度缩放等方法，并比较多种校准技术，发现正则化可权衡校准与锐度，修正方法校准更优。
延伸解读
校准与锐度的权衡
文章指出，正则化方法在概率校准和锐度之间提供了有利的权衡，而修正方法则具有更好的概率校准。这意味着在实际应用中，若更关注预测区间的锐度，可考虑正则化方法；若更关注校准质量，修正方法可能更合适。读者需根据具体任务需求权衡两者。
校准度量标准的选择影响结论
实证研究发现，不同的度量标准对于分类器校准度的优化与评价可能会带来截然不同的结论。因此，在评估模型校准性能时，不能仅依赖单一指标，而应结合多种度量标准，以避免因指标选择偏差而导致错误的优化方向。
修正方法的优势来源
文章论证了修正方法的概率校准优势来自于有限样本覆盖的保障，并且分位数校准可以被视为一种特定的修正方法。这为理解修正方法为何在校准上表现更好提供了理论视角，也提示研究者在设计新方法时可从有限样本覆盖的角度进行改进。
Q&A
深度神经网络为什么需要置信度校准？
深度神经网络在预测时常常过度自信，导致其置信度与真实准确性不一致，这会影响安全关键应用（如医疗诊断、自动驾驶）的可靠性。因此，需要校准技术来使模型的置信度更可靠。
有哪些常用的神经网络校准方法？
常用的校准方法包括贝叶斯神经网络、深度集成、核嵌入校准回归、可微分组损失、Focal Loss与温度缩放等。这些方法从不同角度改善模型的置信度校准。
正则化方法在校准中有什么作用？
正则化方法可以在概率校准和锐度之间提供有利的权衡，即在校准性能与预测区间的锐度之间取得平衡，从而提升模型的整体可靠性。
修正方法相比正则化方法在校准上有什么优势？
修正方法具有更好的概率校准，其优势来自于有限样本覆盖的保障。分位数校准可以被视为一种特定的修正方法。
校准感知贝叶斯神经网络（CA-BNN）是什么？
CA-BNN是一种综合框架，它应用数据独立正则化和数据相关正则化来优化贝叶斯学习中的变分分布，并在期望校准误差（ECE）和可靠性图中验证了其优越性。
如何评估神经网络的校准性能？
常用的评估指标包括期望校准误差（ECE）和可靠性图。此外，准确率校准度也是一种度量标准，但不同的度量标准可能对校准度的优化与评价带来截然不同的结论。
