MANO：利用矩阵范数在分布偏移下进行无监督准确度估计
内容提要
本文介绍了提高神经网络处理分布外（OOD）数据性能的方法，包括Logit Normalization、Projection Norm和负向感知范数（NAN）。这些方法通过约束输出、使用伪标签和特征屏蔽等技术，显著提升了模型的置信度估计和分类能力，尤其在无标签环境下表现优异。实验结果表明，这些新方法在多个基准测试中超越了现有技术。
延伸解读
方法演进：从Logit归一化到负向感知范数
文章梳理了OOD检测中基于范数的方法发展脉络。早期Logit Normalization通过约束输出logits的范数来缓解OOD数据的高置信度问题；随后Projection Norm利用伪标签训练模型并与输入数据分布模型比较，在图像和文本任务上优于现有方法；ConjNorm引入Bregman分歧密度函数设计，在多个OOD检测设置中达到新最先进水平；而负向感知范数（NAN）则进一步捕捉隐藏层神经元的激活与去激活倾向，弥补了传统特征范数可能将分布内样本误判为OOD的缺陷。这些方法逐步提升了无监督准确度估计的可靠性。
无标签环境下的准确度估计：梯度信息与理论洞见
在无法访问真实测试标签的场景下，如何估计模型在分布偏移下的准确度是一个核心挑战。文章提到，通过神经网络的输出或提取特征可以建立与真实测试准确度相关的估计分数，并且实验证明梯度提供的信息能够预测分布变化下的真实测试准确度。此外，Projection Norm在理论上与超参数化线性模型的测试误差界限相连，为无监督准确度估计提供了理论支撑。这些发现表明，即使没有标签，利用模型内部信号也能有效评估OOD性能。
实际应用中的兼容性与性能提升
文章强调，所提出的方法在多个标准OOD检测基准上取得了新的最先进性能，并且与现有OOD检测器兼容。例如，基于特征屏蔽和对数平滑的后处理方法通过减小OOD数据的特征激活、增大ID与OOD数据之间的差距，缓解了模型对OOD数据的过度自信预测。p-NormSoftmax后验置信度估计器则显著提高了预训练模型的选择性分类性能。这些方法在图像和文本分类任务以及不同网络架构上都表现出有效性，为实际部署提供了即插即用的改进方案。
Q&A
Logit Normalization 方法的主要作用是什么？
Logit Normalization 方法通过约束神经网络输出的 logits 向量的范数，减少了 OOD 数据的高置信度问题。
Projection Norm 方法是如何提高模型性能的？
Projection Norm 方法使用伪标签训练新模型，并与输入数据分布模型进行比较，从而在无标签环境下优于现有方法。
如何在没有真实测试标签的情况下估计测试准确性？
可以通过使用神经网络的输出或提取特征来建立与真实测试准确性相关的估计分数。
$p$-NormSoftmax 方法的优势是什么？
$p$-NormSoftmax 是一种后验置信度估计器，可以显著提高预训练模型的选择性分类性能。
ConjNorm 方法在 OOD 检测中取得了什么成就？
ConjNorm 方法在不同的 OOD 检测设置中达到了新的最先进水平，超越了当前最佳方法。
负向感知范数 (NAN) 的作用是什么？
负向感知范数 (NAN) 能够捕捉隐藏层神经元的激活和去激活倾向，在无标签环境中表现有效。
