PromptAD: 使用普通样本学习提示的少样本异常检测

💡 原文中文,约1400字,阅读约需4分钟。
📝

内容提要

本文提出了一种新颖的弱监督视频异常检测框架,通过计算文本提示词典与异常视频字幕的语义相似性,识别视频中的异常事件。该方法在多个数据集上表现优异,超越了现有技术,展示了良好的泛化能力和定位质量。

🎯

关键要点

  • 提出了一种新颖的弱监督视频异常检测框架,通过计算文本提示词典与异常视频字幕的语义相似性,识别视频中的异常事件。

  • 该方法在四个数据集(XD-Violence、UCF-Crime、TAD、ShanghaiTech)上表现优异,超越了现有技术。

  • 展示了良好的泛化能力和定位质量,能够在开放集和跨数据集情况下取得有希望的性能。

  • 采用少样本学习的正常图像为提示,训练综合上下文残差学习模型(InCTRL)进行广义异常检测。

  • 提出自适应提示构建策略,利用seq2seq-attention结构动态构建提示,提高提示质量并有效推广至其他领域。

延伸问答

什么是弱监督视频异常检测框架?

弱监督视频异常检测框架是一种通过计算文本提示词典与异常视频字幕的语义相似性来识别视频中的异常事件的方法。

该方法在数据集上的表现如何?

该方法在XD-Violence、UCF-Crime、TAD和ShanghaiTech四个数据集上表现优异,超越了现有技术。

如何实现跨不同领域的泛化能力?

通过使用少样本学习的正常图像为提示,训练综合上下文残差学习模型(InCTRL),以区分异常和正常样本之间的残差。

自适应提示构建策略的作用是什么?

自适应提示构建策略利用seq2seq-attention结构动态构建提示,提高提示质量并有效推广至其他领域。

该框架在开放集情况下的表现如何?

该框架在开放集和跨数据集情况下展示了有希望的性能。

该研究的主要贡献是什么?

该研究提出了一种新颖的弱监督视频异常检测框架,展示了良好的泛化能力和定位质量,超越了现有技术。

🏷️

标签

➡️

继续阅读