量子位
·
突破不可解释性！视频异常新检测框架精度90.67%拿下SOTA｜华科&百度&密歇根大学
💡
原文中文，约3300字，阅读约需8分钟。
📝
内容提要
华科、百度和密歇根大学的研究团队提出了Holmes-VAD视频异常检测框架，能够准确定位和分析视频中的异常情况。他们构建了VAD-Instruct50k数据集，用于多模态VAD指令微调。Holmes-VAD利用时序监督和多模态指令实现准确的异常定位和全面的解释，表现优于之前的方法。该框架在监控视频安全分析和视频生成内容检验等领域有广泛应用前景。
🎯
关键要点
- 华中科技大学、百度和密歇根大学的研究团队提出了Holmes-VAD视频异常检测框架。
- Holmes-VAD能够精确定位视频中的异常并提供解释和分析。
- 该框架在监控视频安全分析和视频生成内容检验等领域具有广泛应用前景。
- 研究团队构建了VAD-Instruct50k数据集，用于多模态VAD指令微调。
- Holmes-VAD在定量和定性实验中表现优于之前的最先进方法，AP达到90.67%。
- Holmes-VAD采用时序监督和多模态指令实现准确的异常定位和全面的解释。
- 研究团队设计了可解释的视频异常检测框架，包含视觉编码器、时序采样器和LLM。
- 通过用户研究，投影器+LoRA微调策略提供了最详细的响应和最高的判断准确率。
- Holmes-VAD能够纠正时间采样器的错误响应，展现出强大的分析能力。
➡️
