视觉异常检测调研：挑战、方法和前景
内容提要
该文综述视频异常检测研究，涵盖基于深度神经网络、扩散模型伪异常生成、开放词汇检测及大型语言模型等方法，并介绍HMDB-AD等新数据集与多帧异常检测框架，指出当前基准偏重单帧简单异常，呼吁拓展复杂异常研究。
延伸解读
当前基准的局限与复杂异常数据集的引入
文章指出，现有视频异常检测基准主要关注简单的单帧异常，如新颖物体检测，这种狭窄焦点限制了模型进展。为此，研究者从HMDB51动作识别数据集衍生出HMDB-AD和HMDB-Violence两个新数据集，包含多样化的基于动作的异常，以挑战模型对复杂异常的检测能力。这提示读者，评估VAD模型时需注意基准的局限性，并关注更贴近真实场景的复杂异常。
多帧异常检测框架MFAD的改进思路
针对复杂多帧异常，文章介绍了Multi-Frame Anomaly Detection（MFAD）方法。它在AI-VAD框架基础上，除了利用单帧特征（如姿势估计和深度图像编码）和双帧特征（如物体速度）外，还添加了捕捉长期时态依赖性的深度视频编码特征，并通过逻辑回归增强最终异常分数计算。实验表明，MFAD在简单和复杂异常检测场景中均表现出色，这为提升模型对长时依赖异常的敏感度提供了参考。
开放词汇与大型语言模型在VAD中的新探索
文章提到，有研究提出开放词汇视频异常检测方法，利用预训练大型模型检测和分类已知与未知异常，并通过引入语义知识和合成异常提升性能。另一项工作将基于视频的大型语言模型应用于VAD，无需阈值即可解释异常事件，通过长期上下文网络模块和三阶段训练，在UCF-Crime和TAD基准上取得优异性能，同时降低数据需求和标注成本。这些方向显示了VAD向开放世界和可解释性发展的趋势。
Q&A
视频异常检测目前面临的主要挑战是什么？
当前基准数据集主要强调简单的单帧异常，如新颖物体检测，这种狭窄的焦点限制了VAD模型的进展。
有哪些新数据集被提出来推动复杂异常检测的研究？
HMDB-AD和HMDB-Violence，它们源于HMDB51动作识别数据集，用于挑战具有多样化基于动作的异常的模型。
MFAD方法是如何在AI-VAD框架基础上改进的？
MFAD在AI-VAD框架基础上添加了捕捉长期时态依赖性的深度视频编码特征和逻辑回归，以增强最终分数计算，从而解决复杂的多帧异常。
开放词汇视频异常检测方法有什么特点？
该方法能够利用预训练的大型模型来检测和分类已知和未知异常，并通过引入语义知识和合成异常来提高模型性能。
基于大型语言模型的视频异常检测方法有什么优势？
该方法不需要阈值，并能解释检测到的异常事件。通过引入长期上下文网络模块和三阶段训练方法，提高了模型性能并降低了数据需求和标注成本。
扩散模型在视频异常检测中是如何应用的？
通过使用预先训练的潜在扩散模型修复被屏蔽区域图像，并进一步通过混合来扰动光流以产生时间空间扭曲，从而生成通用的时空伪异常。
