关于计算效率的多分类校准
内容提要
该文综述机器学习中概率预测的校准问题，涵盖决策校准、多类别分类校准评估与测试、类别自适应标签平滑、拒绝机制、基于Transformer的KNN校准、群体公平多校准及高斯过程置信度调整等方法，并在皮肤病和ImageNet分类任务中验证有效性。
延伸解读
校准评估与测试的框架化进展
文章梳理了多类别分类校准评估与测试的演进：2019年10月提出的框架首次统一了概率预测模型的校准评估与测试，并适用于分类和任意维度回归；2021年7月进一步提出基于矩阵核的估计器来解释校准度量的测试统计量。这些工作为后续方法提供了可比较的评估基础，也说明校准研究正从单一指标走向系统化测试。
从统一校准到类别独立校准的实践转向
2022年10月的研究提出两种技术：一是将原问题转化为更简单问题并用非参数重新校准解决；二是基于神经崩溃现象，将大多数精确分类器视为K个不同函数的组合，从而对每个类别独立重新校准。两者结合可同时降低整体预测误差和每个类别的校准误差，这提示实际应用中类别级校准可能比全局校准更有效。
领域敏感校准与拒绝机制的补充视角
文章还收录了针对决策者关注敏感输入领域的“field-level calibration error”指标及神经校准方法，以及多类别分类中的拒绝机制研究。前者强调校准需关注特定领域偏差，后者探讨同时训练分类器和拒绝器的可接受标准。这些方向表明校准不仅是概率拟合问题，还涉及决策风险和选择性预测。
公平性、标签平滑与置信度调整的多元方法
在群体公平方面，2020年5月提出多校准方法解耦公平性度量与准确性，并给出样本复杂度界限；类别自适应标签平滑（CALS）通过班级特定乘数校准深度网络；2019年6月则利用潜在高斯过程调整分类器置信度，适用于任何输出置信度估计的分类器。这些方法从不同角度提升校准性能，并在皮肤病和ImageNet等任务中验证。
Q&A
什么是决策校准？
决策校准是指预测分布与真实分布在一组决策者下是“不可区分”的。
有哪些方法可以评估多类别分类的校准？
文章提到基于矩阵核的估计器来解释校准度量的测试统计量，以及一个统一概率预测模型校准评估和测试的框架。
类别自适应标签平滑（CALS）是什么？
CALS是一种在训练过程中允许学习类别特定乘数的方法，通过在大规模自适应训练中引入修改来校准深度神经网络。
多类别分类中的拒绝机制是如何工作的？
文章提出了同时训练分类器和拒绝器的方法，并探讨了针对更广泛损失函数的可接受标准。
如何利用Transformer进行KNN校准？
通过基于Transformer网络的KNN近似来构建数据驱动的分区，再通过Inductive Venn预测器进行校准，从而实现对不确定性的量化和计算机分类模型预测集的标记。
多校准方法如何解决群体公平性问题？
文章提出了一种多校准方法，通过解耦公平性度量（多校准）和准确性（预测误差），并为多校准误差提供了样本复杂度界限，从而保证经验的与真实的多校准误差相近。
如何调整分类器的置信度估计？
文章提出了一种利用潜在高斯过程的非参数表示来调整分类器置信度估计的方法，使其接近正确分类的概率，适用于任何输出置信度估计的分类器。
