基于概率单纯形上的统计建模实现的精确保持校准
内容提要
该文综述了神经网络置信度校准研究，涵盖温度缩放、Mixup、狄利克雷校准、决策校准等方法，指出模型常过度自信，正则化与修正法各有优势，模型架构是影响校准性能的主要因素。
延伸解读
校准方法的两大阵营：正则化与修正法
文章通过大规模实证比较发现，正则化方法（如Mixup）能在概率校准和锐度之间取得有利权衡，而修正方法（如温度缩放、狄利克雷校准）则具有更好的概率校准性能。分位数校准可视为一种特定的修正方法，其优势来自有限样本覆盖的保障。读者可根据实际需求选择：若需平衡预测的锐度与校准，可考虑正则化；若追求更精确的概率校准，修正法更合适。
模型架构是校准性能的关键因素
文章指出，模型架构是影响校准性能的主要因素，而模型大小和预训练量并不能完全解释校准差异。例如，不使用卷积层的最新模型校准性能最好。这意味着在提升模型置信度可靠性时，架构选择可能比单纯增加数据或参数量更有效。读者在设计和选择模型时，应优先考虑架构对校准的潜在影响。
决策校准：从预测分布到决策不可区分
文章提出决策校准的新概念，即预测分布与真实分布在一组决策者下是“不可区分”的。针对有界行动的决策者，作者设计了多项式时间样本复杂度的重新校准算法，并在皮肤病和ImageNet分类中验证了有效性。这为校准提供了新视角：校准不仅关乎概率精度，还关乎对下游决策的影响。读者可关注该方法在具体决策场景中的适用性。
Q&A
神经网络为什么常常出现过度自信的问题？
文章指出，深度神经网络模型存在大量“几乎确定”的置信度，导致其预测常常过于自信。
有哪些常用的神经网络置信度校准方法？
文章综述了温度缩放、Mixup、狄利克雷校准、决策校准、分位数校准、MACC等方法。
正则化方法和修正方法在概率校准上有什么不同？
正则化方法在概率校准和锐度之间提供有利的权衡，而修正方法具有更好的概率校准，其优势来自于有限样本覆盖的保障。
温度缩放为什么能有效校准神经网络？
文章通过深入实验和分析，提出了温度缩放法的简单有效性，可以解决现代神经网络中分类器的置信度校准问题。
模型架构对校准性能有多大影响？
研究发现，不使用卷积层的最新模型的校准性能最好，模型大小和预训练量并不能完全解释这些差异，表明模型架构是影响校准性能的主要因素。
什么是决策校准？
决策校准指预测分布与真实分布在一组决策者下是“不可区分的”。针对选择有界行动的决策者，作者设计了多项式时间样本复杂度的重新校准算法，并在皮肤病和ImageNet分类等领域验证了有效性。
