野外数据集中的基于能量的实例尺度调整的不确定性校准
内容提要
本研究针对深度神经网络分类器的过度自信预测问题,提出了K+1路softmax公式和基于能量的目标函数,以改进开放世界中的OOD检测。通过引入辅助样本和伪样本,提升了模型在领域漂移下的可靠性和校准性,实验结果表明该方法在OOD检测上优于现有技术,具有较高的可信度。
延伸解读
开放世界中的过度自信问题
深度神经网络分类器在开放世界部署时,常对分布外(OOD)数据给出过度自信的预测。传统基于softmax置信度的方法在后验分布上存在过度自信,难以可靠区分“内部”与“外部”数据。本文提出的K+1路softmax公式和基于能量的目标函数,正是为了缓解这一问题,从而提升决策可靠性。
能量分数与OOD检测的统一框架
文章将能量分数同时用作OOD检测的得分函数和可训练成本函数,形成一个统一框架。相比CIFAR-10预训练的WideResNet,使用能量分数在TPR 95%处将平均FPR降低了18.03%。这表明能量分数在理论上更能够识别“内部”和“外部”数据,为OOD检测提供了更有效的依据。
辅助样本与伪样本的作用
为了提升模型在领域漂移下的可靠性和校准性,本文引入辅助的离群样本和伪样本来训练模型,并明确建模类别概率的不确定性。这种策略结合熵鼓励损失项和对抗校准损失项,提高了样本在领域世界偏移下的校准性和适应性,使模型在传统RNN和Fine-tuned预训练transformers上都能轻松部署。
实验验证与性能优势
文章在不同的数据模式、数据集和网络架构上进行了全面评估,结果显示该方法在OOD检测上明显优于现有最先进方法,具有较高的可信度。这为在开放世界中安全部署机器学习模型提供了技术基础,尤其是在领域漂移下的预测方面表现出更好的校准性和适应性。
Q&A
K+1路softmax公式的主要作用是什么?
K+1路softmax公式旨在解决深度神经网络分类器的过度自信预测问题,提高开放世界中的不确定性建模能力。
如何提高模型在领域漂移下的可靠性?
通过引入辅助样本和伪样本,结合熵鼓励损失项和对抗校准损失项,可以提升模型在领域漂移下的可靠性和校准性。
该研究的实验结果如何?
实验结果表明,该方法在OOD检测上优于现有技术,具有较高的可信度,尤其在降低假阳性率方面表现突出。
什么是基于能量的目标函数?
基于能量的目标函数是一种用于训练模型的成本函数,能够更好地对开放世界的不确定性进行建模。
该研究如何处理开放世界中的OOD检测?
研究提出了一个使用能量分数的统一框架,能够更有效地识别内部和外部数据,从而改进OOD检测。
模型可信度在实际应用中有多重要?
模型的可信度在实际应用中至关重要,因为它影响人工智能系统的广泛认知和安全部署。