用于异常检测的核主成分分析
内容提要
本文综述了多种离群检测（OOD）方法，包括利用降维增强DNN、KIRBY过程训练拒绝网络、去白线性判别分析、非参数最近邻距离、Neural Collapse特征、子空间最近邻（SNN）、PARTIC算法、马氏距离后处理及流形学习生成OOD样本等。实验表明，这些方法在降低误报率和提升检测性能上优于已有方法。
延伸解读
方法演进：从降维到子空间学习
文章梳理了OOD检测方法的演进脉络：早期方法侧重降维增强DNN或利用KIRBY过程训练拒绝网络，随后出现去白线性判别分析、非参数最近邻距离等。近期研究转向子空间最近邻（SNN）和Neural Collapse特征，通过子空间学习或特征聚类性提升检测性能。这一趋势显示，研究者正从单纯依赖距离度量转向更结构化的特征表示学习。
性能提升：误报率显著降低
多个方法报告了误报率（FPR）的降低。例如，非参数最近邻距离方法在基准测试中比马氏距离基线降低了24.77%的FPR@TPR95；SNN在CIFAR-100上平均FPR95降低了15.96%。这些数据表明，新方法在保持检测能力的同时，能有效减少将正常样本误判为异常的情况，对实际部署有积极意义。
实用考量：无需重训练与计算效率
部分方法强调实用性和效率。PARTIC算法无需重新训练分类器，适用于缺乏明确定义的领域；马氏距离后处理结合PCA降低瓶颈特征维度，以最小计算负载检测OOD图像。这些特性降低了部署门槛，尤其适合资源受限或需要快速适配的场景，但文章未涉及这些方法在更复杂任务上的泛化性。
局限与挑战：维度灾难与生成样本复杂性
文章指出，基于距离的方法可能受维度灾难困扰，限制高维特征空间中的功效。SNN通过子空间学习缓解该问题。此外，生成有效OOD样本的复杂性较高，流形学习网络（如VAE）生成样本后需训练n+1分类器，在MNIST和Fashion-MNIST上表现更好，但未验证更复杂数据集。这些挑战提示读者关注方法在高维真实场景中的适用性。
Q&A
有哪些基于降维的OOD检测方法？
文章提到两种：一是基于降维增强DNN的方法，通过线性与非线性降维得到特征嵌入子空间，利用分布学习和重构误差检测OOD样本；二是使用马氏距离后处理Swin UNETR模型的瓶颈特征，并通过主成分分析降低维度来检测分布外图像。
SNN方法如何解决高维OOD检测中的维度灾难？
SNN（Subspace Nearest Neighbor）在训练中利用最相关的子维度（即子空间）来规范化模型及其特征表示，从而产生ID和OOD数据之间高度可区分的距离度量，缓解维度灾难问题。在CIFAR-100基准上，SNN将平均FPR95降低了15.96%。
非参数最近邻距离方法在OOD检测中有什么优势？
该方法不施加任何分布假设，因此具有更强的灵活性和普适性。在多个基准测试中证明了其有效性，并且相对强基线的Mahalanobis距离方法，显著降低了24.77%的误报率（FPR@TPR95）。
NC-OOD检测器是如何利用Neural Collapse特性的？
NC-OOD基于Neural Collapse观察的特征向量相似度，利用ID特征聚类性和OOD特征与原点的距离性，显著提高了现有工作的泛化能力，并在不同分类任务、训练损失和模型架构的广泛实验中实现了最新的OOD检测性能。
如何利用流形学习生成OOD样本进行检测？
文章提出使用流形学习网络（如变分自编码器）生成“有效”的OOD样本，然后训练一个n+1分类器来检测OOD，其中第n+1类代表OOD样本。在MNIST和Fashion-MNIST数据集上，该方法总体表现优于几种最近的基于分类器的OOD检测器。
PARTIC算法在异常检测中有什么特点？
PARTIC算法来自可解释AI领域，用于构建更易解释、更具鲁棒性的视觉分类器的异常检测器。它无需重新训练分类器，适用于缺乏明确定义的领域，并通过四个数据集和两个OoD定义的广泛基准测试证明了其检测能力与现有方法相当，同时强调了分类器结构对鲁棒性的影响。
