BriefGPT - AI 论文速递
·
MANO：利用矩阵范数在分布偏移下进行无监督准确度估计
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
研究发现，神经网络在训练分类数据集时，隐藏层特征的向量范数对于属于分布内的样本通常更高，而对于分布外的未知样本较低。提出了一种新的负向感知范数 (NAN)，能够捕捉到隐藏层神经元的激活和去激活倾向。在 NAN 上进行了广泛的实验，证明了它的效果和与现有分布外检测器的兼容性，以及在无标签环境中的能力。
🎯
关键要点
- 神经网络在训练分类数据集时，隐藏层特征的向量范数对于分布内样本通常更高。
- 对于分布外的未知样本，隐藏层特征的向量范数通常较低。
- 特征范数是网络层中的分类器隐藏的置信值，能够检测各种判别模型下的分布外样本。
- 传统特征范数无法捕捉隐藏层神经元的去激活倾向，可能导致误识别。
- 提出了一种新的负向感知范数 (NAN)，能够捕捉隐藏层神经元的激活和去激活倾向。
- 在 NAN 上进行了广泛实验，证明了其效果及与现有分布外检测器的兼容性。
- NAN 在无标签环境中也表现出良好的能力。
➡️
