SeTAR：选择性低秩逼近的未知样本检测
内容提要
本文介绍了一种基于线性回归的异常检测方法，利用大规模预训练的transformers网络提升OOD检测性能。研究提出了低秩适应模块（LoRA）和无关数据集的广义异常检测方法，显著降低假阳性率。通过双层离群分布检测框架和半监督元学习方法，解决领域漂移和未标记数据问题，提升模型鲁棒性。
延伸解读
低秩适应在OOD检测中的价值
文章提到，低秩适应模块（LoRA）通过训练低秩矩阵参数并与原模型权重矩阵相乘和相加，实现参数高效微调。这种方法在OOD检测中能提升模型性能和鲁棒性，同时加速训练迭代。对于需要快速适应新数据分布的任务，LoRA提供了一种平衡计算成本与检测精度的思路。
对比学习降低假阳性率的启示
基于自我监督对比学习的广义异常检测方法在CIFAR-100数据集上，将假阳性率（FPR@95）比SOTA方法降低了26.97%。这表明对比学习能有效提升模型对正常样本与异常样本的区分能力，对于实际应用中减少误报具有参考意义。
处理领域漂移的双层框架
双层离群分布检测框架通过全局低层特征和密集高层特征图，分别应对领域漂移和语义漂移，并能选择性调整模型以适应未知领域。在多个离群分割基准测试中，该方法在有无显著领域漂移的情况下均带来持续性性能改进，为复杂场景下的OOD检测提供了新思路。
半监督元学习应对未标记数据
半监督元学习方法（SETS）针对任务分布不断演化且存在大量未标记数据的情况，引入相互信息正则化来稳健利用未标记外部分布数据，并采用最优传输正则化在特征空间记住已学知识。实验表明，该方法在大规模非稳态半监督任务分布数据集上比强基线更鲁棒。
Q&A
SeTAR方法的主要特点是什么？
SeTAR方法结合了线性回归和大规模预训练的transformers网络，显著提高了OOD检测性能，并引入了低秩适应模块（LoRA）以提升模型鲁棒性。
如何降低假阳性率？
通过引入基于自我监督对比学习的广义异常检测方法，SeTAR在多个基准数据集上显著降低了假阳性率，尤其在CIFAR-100数据集上表现优异。
SeTAR如何处理领域漂移和未标记数据？
SeTAR采用双层离群分布检测框架和半监督元学习方法（SETS），有效应对领域漂移和未标记数据问题，提升模型的鲁棒性。
低秩适应模块（LoRA）在SeTAR中的作用是什么？
LoRA通过训练低秩矩阵参数来微调模型参数，从而提升模型性能和鲁棒性，适应新的数据分布。
SeTAR在OOD检测中的优势是什么？
SeTAR利用大规模预训练的transformers网络和低秩适应模块，显著提高了深度神经网络在OOD检测上的性能，降低了假阳性率。
半监督元学习方法（SETS）如何提高模型鲁棒性？
SETS通过引入相互信息正则化和最优传输正则化，稳健地利用未标记数据，从而提高模型在不断演化的任务分布下的鲁棒性。
