BriefGPT - AI 论文速递
·
MANO：利用矩阵范数在分布偏移下进行无监督准确度估计
内容提要
本文介绍了提高神经网络处理分布外（OOD）数据性能的方法，包括Logit Normalization、Projection Norm和负向感知范数（NAN）。这些方法通过约束输出、使用伪标签和特征屏蔽等技术，显著提升了模型的置信度估计和分类能力，尤其在无标签环境下表现优异。实验结果表明，这些新方法在多个基准测试中超越了现有技术。
关键要点
-
提出 Logit Normalization 方法，通过约束神经网络输出的 logits 向量的范数，减少 OOD 数据的高置信度问题。
-
Projection Norm 方法使用伪标签训练新模型，优于现有方法，并与超参数化线性模型的测试误差界限相连。
-
研究了在无法访问真实测试标签的情况下，如何通过神经网络输出或提取特征来估计测试准确性。
-
提出 $p$-NormSoftmax 后验置信度估计器，显著提高预训练模型的选择性分类性能。
-
ConjNorm 方法在 OOD 检测设置中达到了新的最先进水平，超越当前最佳方法。
-
基于特征屏蔽和对数平滑的后处理 OOD 检测方法，减小 OOD 数据的特征激活，增加 ID 与 OOD 数据之间的差距。
-
提出负向感知范数 (NAN)，能够捕捉隐藏层神经元的激活和去激活倾向，证明了其在无标签环境中的有效性。
延伸问答
Logit Normalization 方法的主要作用是什么？
Logit Normalization 方法通过约束神经网络输出的 logits 向量的范数，减少了 OOD 数据的高置信度问题。
Projection Norm 方法是如何提高模型性能的？
Projection Norm 方法使用伪标签训练新模型，并与输入数据分布模型进行比较，从而在无标签环境下优于现有方法。
如何在没有真实测试标签的情况下估计测试准确性？
可以通过使用神经网络的输出或提取特征来建立与真实测试准确性相关的估计分数。
$p$-NormSoftmax 方法的优势是什么？
$p$-NormSoftmax 是一种后验置信度估计器，可以显著提高预训练模型的选择性分类性能。
ConjNorm 方法在 OOD 检测中取得了什么成就？
ConjNorm 方法在不同的 OOD 检测设置中达到了新的最先进水平，超越了当前最佳方法。
负向感知范数 (NAN) 的作用是什么？
负向感知范数 (NAN) 能够捕捉隐藏层神经元的激活和去激活倾向，在无标签环境中表现有效。
