PromptAD: 使用普通样本学习提示的少样本异常检测
内容提要
本文提出了一种新颖的弱监督视频异常检测框架，通过计算文本提示词典与异常视频字幕的语义相似性，识别视频中的异常事件。该方法在多个数据集上表现优异，超越了现有技术，展示了良好的泛化能力和定位质量。
延伸解读
弱监督视频异常检测的新思路
本文提出的框架利用文本提示词典与异常视频字幕的语义相似性来识别异常事件，这是一种弱监督方法，仅需视频级标签。通过多提示学习约束视觉-语义特征，为自训练生成伪异常标签提供了新途径。这种方法降低了对帧级标注的依赖，有望推动视频异常检测在实际场景中的应用。
跨数据集泛化能力
文章在XD-Violence、UCF-Crime、TAD和ShanghaiTech四个数据集上进行了实验，性能分别达到82.6%、87.7%、93.1%和97.4%，超越了大多数现有方法。此外，在开放集和跨数据集设置下也表现出有希望的性能，表明该方法具有良好的泛化能力，能够适应不同数据分布。
自适应提示构建策略
为了提升提示质量，作者提出了一种自适应提示构建策略，利用seq2seq-attention结构动态生成提示。该策略能够根据输入序列的语义信息调整提示，从而更准确地捕捉异常模式。实验表明，这种方法可以有效推广至其他领域，并在FewCLUE数据集上验证了其有效性。
Q&A
什么是弱监督视频异常检测框架？
弱监督视频异常检测框架是一种通过计算文本提示词典与异常视频字幕的语义相似性来识别视频中的异常事件的方法。
该方法在数据集上的表现如何？
该方法在XD-Violence、UCF-Crime、TAD和ShanghaiTech四个数据集上表现优异，超越了现有技术。
如何实现跨不同领域的泛化能力？
通过使用少样本学习的正常图像为提示，训练综合上下文残差学习模型（InCTRL），以区分异常和正常样本之间的残差。
自适应提示构建策略的作用是什么？
自适应提示构建策略利用seq2seq-attention结构动态构建提示，提高提示质量并有效推广至其他领域。
该框架在开放集情况下的表现如何？
该框架在开放集和跨数据集情况下展示了有希望的性能。
该研究的主要贡献是什么？
该研究提出了一种新颖的弱监督视频异常检测框架，展示了良好的泛化能力和定位质量，超越了现有技术。
