基于学习温度能量的异常检测与应用
内容提要
本文综述分布外（OOD）检测研究：指出基于softmax置信度的方法存在过度自信问题，提出能量分数统一框架，使FPR降低18.03%；ALOE通过对抗训练提升鲁棒性，AUROC分别提高58.4%和46.59%；HEAT采用混合能量模型取得最佳结果；此外还介绍了测试时训练、AIOL、TRUSTED、GNNSafe及弃权类别等方法。
延伸解读
能量分数为何能缓解过度自信
文章指出，传统基于softmax置信度的方法在OOD数据上存在过度自信问题，而能量分数从理论上更能区分“内部”和“外部”数据。其统一框架允许能量同时作为得分函数和可训练成本函数，在CIFAR-10预训练的WideResNet上，将平均FPR（TPR 95%处）降低18.03%。这表明能量分数不仅是一种评分替代，还能通过训练目标直接优化OOD检测性能。
对抗鲁棒性：ALOE的增强思路
ALOE关注OOD检测在极小对抗扰动下的脆弱性，通过将模型暴露于对抗训练的inlier和outlier样本，提升现有检测方法的鲁棒性。在CIFAR-10和CIFAR-100上，AUROC分别提高58.4%和46.59%。这一结果说明，OOD检测的评估不能只看干净样本，对抗场景下的稳定性是实际部署中需要重视的维度。
方法多样性与共同趋势
文章综述了多种OOD检测方向：HEAT用混合能量模型在预训练特征空间估计密度感知OOD并取得最佳结果；测试时训练利用在线样本自适应降低假阳性率；AIOL针对有限标记数据利用样本熵和温度选择；TRUSTED基于变压器架构；GNNSafe面向图数据；还有弃权类别方法。这些方法虽场景不同，但都指向利用无标签信息或改进评分函数来提升检测。
隐含评分函数的实践启示
文章提到，许多OOD检测方法在共享学习方式下表现相似，二进制区分器能达到与异常暴露相似的性能，置信度损失具有与训练和测试out-distribution相同时的函数相似的隐含评分函数。这提示读者，不同方法之间的差异可能更多来自训练方式而非评分函数本身，实践中应关注训练一致性对检测效果的影响。
Q&A
为什么传统的基于softmax置信度的OOD检测方法效果不好？
传统基于softmax置信度得分的方法在OOD数据的后验分布上存在过度自信的问题，导致无法可靠区分内部和外部数据。
能量分数框架如何提升OOD检测性能？
能量分数框架将能量用作得分函数和可训练成本函数，理论上更能识别“内部”和“外部”数据。与CIFAR-10预训练的WideResNet相比，使用能量分数将平均FPR（在TPR 95%处）降低了18.03%。
ALOE算法是如何提高OOD检测鲁棒性的？
ALOE通过将模型暴露于经过对抗训练的inlier和outlier示例中，灵活地与现有方法结合，提高现有OOD检测方法对极小对抗扰动的鲁棒性。在CIFAR-10和CIFAR-100数据集上，AUROC分别提高了58.4%和46.59%。
HEAT模型在OOD检测中取得了什么成果？
HEAT模型使用混合能量模型在预训练的主干特征空间中估计ID样本密度感知OOD，在CIFAR-10、CIFAR-100和ImageNet基准上取得了全新的最佳OOD检测结果。
针对图数据的OOD检测有哪些专门方法？
GNNSafe是一种基于图神经网络的能量函数的有效OOD鉴别器，在模拟和真实数据集上的评估中证明其性能优于现有技术。
在有限标记数据下如何进行OOD检测？
AIOL方法针对有限标记数据和丰富无标记数据的场景，采用基于样本熵和适当温度选择潜在ID和OOD样本的自适应方法，并利用数据扩充技术进一步提高性能，在多种基准数据集上优于其他方法。
