长尾学习中的异常检测的表示范数增强
内容提要
本文提出了一种新型表示学习框架CIDER，旨在优化ID-OOD可分离性，从而显著提高OOD检测性能。研究表明，特征的离散度和紧凑性对检测效果至关重要。通过引入负向感知范数(NAN)和校准异常类别学习(COCL)，提升了长尾数据的异常检测能力，并在多个数据集上取得了最先进的结果。
延伸解读
特征范数为何能区分分布内外样本
文章指出，神经网络在训练分类数据集时，隐藏层特征的向量范数对分布内样本通常较高，对分布外样本较低。这种范数可视为分类器隐藏的置信值，是一种类不可知的OOD检测信号。但传统特征范数无法捕捉神经元的去激活倾向，可能将分布内样本误判为分布外。负向感知范数（NAN）通过同时考虑激活和去激活倾向，弥补了这一缺陷，提升了检测的可靠性。
长尾分布给OOD检测带来的特殊挑战
实际数据常呈长尾分布，尾部类别样本稀少，导致特征学习不充分。现有OOD检测方法多假设数据均衡，在长尾场景下性能下降。文章提到，校准异常类别学习（COCL）通过引入多个放弃类扩展内分布类空间，并利用虚拟标签训练，解决了离散分布方法对长尾数据的局限性，在区分OOD样本与头尾类样本时显著提高了性能。
CIDER框架的核心改进与实测效果
CIDER是一种基于超球嵌入的表示学习框架，通过联合优化两个损失来增强ID-OOD可分离性。它分析了超球空间中嵌入的离散度和紧凑性与OOD检测性能的关系，并以此指导学习。实验表明，CIDER在多个数据集上表现优异，FPR95比最新对手高出19.36%，说明优化表示空间的几何特性对提升异常检测准确性具有实际价值。
Q&A
CIDER框架的主要目标是什么？
CIDER框架旨在优化ID-OOD可分离性，从而提高OOD检测性能。
负向感知范数(NAN)的作用是什么？
NAN用于捕捉隐藏层神经元的激活和去激活倾向，提升异常检测能力。
校准异常类别学习(COCL)如何改善长尾数据的检测？
COCL方法解决了长尾分布数据的局限性，提高了OOD样本与头尾类样本的区分性能。
CIDER在多个数据集上的表现如何？
CIDER在多个数据集上取得了最先进的检测性能，显著提高了异常检测的准确性。
特征的离散度和紧凑性对OOD检测有何影响？
特征的离散度和紧凑性对检测效果至关重要，影响OOD检测的准确性。
长尾学习中的异常检测面临哪些挑战？
长尾学习中的异常检测面临数据分布不均衡和尾部类别特征稀缺的挑战。
