ForeCal：基于随机森林的深度神经网络校准
内容提要
本文探讨了深度神经网络中的置信度校准问题，提出了温度缩放法和概率校准树等多种校准方法，以提高模型预测的可靠性。研究引入了新的评估指标，揭示了现有校准技术的缺陷，并针对置信度过高和过低提出了相应的校准技术。通过大量实验验证了这些方法的有效性，强调了校准在机器学习任务中的重要性。
延伸解读
校准方法演进：从温度缩放到概率校准树
文章梳理了置信度校准方法的发展脉络。温度缩放法被证明简单有效，能解决现代神经网络分类器的校准问题；概率校准树则通过识别输入空间的不同区域，学习不同的概率校准模型，其平均根均方误差低于等单调回归和Platt缩放，适用于多种基础学习器。这些方法各有侧重，读者可根据任务需求选择。
新评估指标揭示校准缺陷
文章提出了“field-level calibration error”和“校准错误评分”等新指标。前者衡量敏感输入领域中的预测偏差，后者用于识别整体和类别上的校准状态，包括置信度过高或过低。这些指标揭示了现有校准技术往往过度校准模型，并加剧置信度过低预测的问题，为改进校准方法提供了量化依据。
训练时与事后校准的新进展
文章介绍了多种创新校准技术。基于MACC的训练时校准方法通过鼓励模型在预softmax分布中提供低（或高）扩散，达到领域内和领域外预测的最先进校准性能；元集合级联温度回归则是一种事后校准方法，通过数据增强模拟领域转变，为不同测试集定制细粒度缩放函数，捕捉多样化不确定性。这些方法在MNIST、CIFAR-10等数据集上得到验证。
大规模调查与NAS中的校准探索
文章提及一项大规模研究，利用神经架构搜索（NAS）搜索空间，评估了117,702个唯一神经网络在NATS-Bench上的90个基于bin的校准度量和12个附加校准度量，并创建了模型校准数据集。这是首次对校准特性进行大规模调查，也是NAS中校准问题的首要研究，为深入探索校准特性提供了详尽空间。
Q&A
温度缩放法是什么？
温度缩放法是一种简单有效的置信度校准方法，能够解决现代神经网络中的分类器置信度校准问题。
概率校准树的作用是什么？
概率校准树是一种修改后的逻辑模型树，能够识别输入空间中的不同区域并学习不同的概率校准模型，以提高模型性能。
新提出的评估指标有什么意义？
新评估指标“field-level calibration error”用于衡量敏感输入领域中的预测偏差，帮助识别校准状态。
深度神经网络的校准问题有哪些？
深度神经网络通常在训练集上是校准的，但校准泛化间隙受到标准泛化间隙的限制，可能导致置信度过高或过低的问题。
如何解决置信度过高和过低的问题？
通过引入校准错误评分指标，设计了一种既能应对置信度过高又能应对置信度过低的校准技术。
研究中使用了哪些数据集进行验证？
研究在MNIST、CIFAR-10和TinyImageNet上进行了广泛的实验，以验证提出的方法的有效性。
