通过适应预训练视觉语言模型进行异常检测
内容提要
本文介绍了基于CLIP模型的零样本异常检测方法，如VadCLIP和AnomalyCLIP，利用自然语言监督和视觉表示进行异常识别。研究表明，结合视觉-语言模型与适应方法能有效提升检测性能，尤其在视频异常检测中表现优异。模型通过轻量级策略和少量数据展现出良好的泛化能力和鲁棒性。
延伸解读
零样本异常检测的实用优势
基于CLIP的零样本方法无需针对特定异常类别收集训练数据，即可直接进行检测。例如，AnomalyCLIP通过学习无关物体的文本提示，在高度多样的物体数据集上实现零样本识别；VadCLIP无需预训练和微调，在视频异常检测基准上超越现有方法。这种特性降低了数据收集和模型训练成本，适合快速部署到新场景。
轻量适应策略的有效性
文章指出，在CLIP上添加轻量级适应层（如CLIP-Adapter）或采用提示调优，能显著提升检测性能。例如，在深假检测中，仅使用20万张图像训练，mAP和准确率分别超过先前方法5.01%和6.61%。这表明，少量数据结合简单适配即可获得良好效果，无需大规模微调。
泛化能力与鲁棒性表现
基于CLIP的检测器在生成图像检测中展现出良好的泛化能力。仅使用单个生成模型的少量示例图像训练，就能在Dalle-3、Midjourney v5等商业工具生成的图像上保持高鲁棒性，分布外AUC提高6%，受损数据鲁棒性提升13%。这提示读者，此类方法可能更适合应对未知或变化的异常类型。
视频异常检测的进展
在视频领域，VadCLIP通过双分支实现粗粒度和细粒度检测，无需预训练和微调；AnomalyCLIP结合多实例学习与Transformer时序建模，在ShanghaiTech、UCF-Crime和XD-Violence基准上优于现有方法。这些工作表明，视觉语言模型能有效处理视频中的时序依赖和异常定位。
Q&A
VadCLIP的主要特点是什么？
VadCLIP是一种弱监督视频异常检测方法，无需预训练和微调，通过双分支实现粗粒度和细粒度的异常检测，表现优异。
AnomalyCLIP是如何进行异常检测的？
AnomalyCLIP通过学习无关物体的文本提示来捕捉图像中的正常和异常，实现对高度多样物体数据集的零样本识别。
CLIP-Adapter的作用是什么？
CLIP-Adapter通过在原训练模型上加入新特征层并进行残差式混合，提升视觉分类任务的表现。
如何提高基于CLIP的异常检测性能？
结合视觉-语言模型与适应方法，使用少量数据显著提高检测性能，尤其在视频异常检测中表现优异。
基于CLIP的检测器在生成图像中的表现如何？
基于CLIP的检测器在生成图像的检测中展现出良好的泛化能力和鲁棒性，能够在多种生成模型中有效应用。
使用CLIP进行零样本异常检测的优势是什么？
使用CLIP进行零样本异常检测可以通过自然语言监督学习视觉表示，减少对大量标注数据的依赖，提升检测的灵活性和效率。
