MANO:利用矩阵范数在分布偏移下进行无监督准确度估计
原文中文,约300字,阅读约需1分钟。发表于: 。我们提出了一种基于 logits 的方法 MaNo,通过对 logits 进行数据依赖的归一化来减少预测偏差,并将归一化 logits 的矩阵的 Lp 范数作为评估分数,我们在多个架构上进行了广泛的实证研究并证明 MaNo 在合成、自然或亚种群变化下实现了最先进的性能。
研究发现,神经网络在训练分类数据集时,隐藏层特征的向量范数对于属于分布内的样本通常更高,而对于分布外的未知样本较低。提出了一种新的负向感知范数 (NAN),能够捕捉到隐藏层神经元的激活和去激活倾向。在 NAN 上进行了广泛的实验,证明了它的效果和与现有分布外检测器的兼容性,以及在无标签环境中的能力。