视频异常检测中的补丁时空关系预测
原文中文,约1600字,阅读约需4分钟。
📝
内容提要
本文提出了一种新的视频异常检测方法,结合潜在扩散模型和混合光流,生成通用时空伪异常。通过学习重建质量、时间不规则性和语义不一致性,检测现实世界中的异常。实验结果显示,该方法在多个数据集上表现优异,具有良好的可转移性和普适性。
🔎
延伸解读
方法核心:扩散模型与光流扰动生成伪异常
文章提出利用预训练潜在扩散模型修复被屏蔽区域,并通过混合光流扰动产生时空扭曲,从而生成通用的时空伪异常。这种生成方式不依赖真实异常样本,为开放集识别任务提供了可控的异常模拟,有助于模型学习偏离正常模式的表征。
检测框架:三种异常指标的统一学习
该方法通过学习重建质量、时间不规则性和语义不一致性三种指标,在统一框架下检测现实世界异常。重建质量反映外观偏差,时间不规则性捕捉动态异常,语义不一致性则关注高层语义冲突,三者互补提升检测鲁棒性。
实验验证:多数据集性能与可转移性
在 Ped2、Avenue、ShanghaiTech 和 UBnormal 四个基准数据集上,该方法在 OCC 设置下性能与现有基于伪异常生成和重建的方法相当。分析还检验了伪异常在不同数据集间的可转移性和普适性,为利用伪异常发现真实异常提供了见解。
❓
Q&A
视频异常检测的新方法是什么?
该方法结合潜在扩散模型和混合光流,生成通用时空伪异常。
如何检测现实世界中的异常?
通过学习重建质量、时间不规则性和语义不一致性等指标来检测异常。
该方法在实验中表现如何?
在多个数据集上进行实验,证明该方法的性能与现有方法相当,具有良好的可转移性和普适性。
使用哪些数据集进行实验?
实验使用了Ped2、Avenue、ShanghaiTech和UBnormal四个VAD基准数据集。
该方法的优势是什么?
该方法在性能上与现有方法相当,并且具有良好的可转移性和普适性。
视频异常检测的挑战是什么?
视频异常检测涉及检测视频中的异常事件,是一个复杂而重要的任务。
🏷️