开源视频版GPT-4o？快速记忆，实时问答，拿下CVPR'24长视频问答竞赛冠军
内容提要
该文章介绍了Flash-VStream，一种针对长视频流的在线理解多模态大模型。通过STAR记忆机制，Flash-VStream实现了对长视频的高效记忆和理解能力。模型在多个长视频理解benchmark上表现优秀，并在CVPR'24长视频问答竞赛中获得冠军。研究团队还构建了一个面向在线视频流问答场景的数据集VStream-QA，用于评价模型的在线视频流理解能力。Flash-VStream的性能在准确率和可信度分数上优于其他方法。
延伸解读
长视频理解的技术瓶颈
现有大多数多模态模型仅能处理短视频，长视频理解能力有限。传统方法基于帧采样和特征融合，但显存开销和回答延迟随输入帧数增长，只能稀疏采样，影响性能。此外，无法处理在线视频流，难以实现新旧片段的信息交互，阻碍了对长视频流的整体理解。
STAR记忆机制的设计与优势
Flash-VStream的核心是STAR记忆机制，包含空间、时间、抽象和检索四种记忆模块。空间和检索记忆每帧token数最多，时间记忆次之，抽象记忆每帧仅1个token，高效表示从具体到抽象的视觉特征。通过FIFO队列、加权K-means聚类、语义注意力和关键帧检索等更新机制，实现了帧级别信息聚合和重要事件细节回忆。
VStream-QA数据集的构建与评价
研究团队基于Ego4D和Movienet构建了VStream-QA数据集，包含21小时视频，平均长度40分钟，每个问答对标注了答案所在时间区间。测试时要求模型在多个时间点基于到当时刻为止的视频片段回答问题，以评价在线视频流理解能力。采用GPT-3.5进行准确率和可信度评分，为在线视频流问答提供了新的评测基准。
性能表现与竞赛成果
Flash-VStream在多个长视频理解benchmark上表现优秀，并在CVPR'24长视频问答竞赛中获得冠军。其显存占用和回答延迟几乎不随输入帧数量变化，实现了高效的长视频理解。在离线视频理解能力上也优于其他方法，在六个benchmark的准确率和可信度分数上均领先，证明了其强大的视频理解性能。
Q&A
Flash-VStream模型的主要功能是什么？
Flash-VStream是一种针对长视频流的在线理解多模态大模型，能够高效记忆和理解长视频内容。
STAR记忆机制在Flash-VStream中起什么作用？
STAR记忆机制通过空间、时间、抽象和检索四种记忆模块高效融合不同粒度的语义信息，提升模型性能。
Flash-VStream在CVPR'24竞赛中取得了什么成绩？
Flash-VStream在CVPR'24长视频问答竞赛中获得了冠军。
VStream-QA数据集的特点是什么？
VStream-QA数据集包含21小时视频，平均长度为40分钟，专门用于评价模型的在线视频流理解能力。
Flash-VStream如何处理长视频流数据？
Flash-VStream能够在线处理极长的视频流数据，快速记忆重要信息，并实时回答用户提问。
Flash-VStream与其他多模态模型相比有什么优势？
Flash-VStream在显存开销和回答延迟几乎不随输入帧数量变化，且在多个长视频理解benchmark上表现优异。
