该文章介绍了Flash-VStream,一种针对长视频流的在线理解多模态大模型。通过STAR记忆机制,Flash-VStream实现了对长视频的高效记忆和理解能力。模型在多个长视频理解benchmark上表现优秀,并在CVPR'24长视频问答竞赛中获得冠军。研究团队还构建了一个面向在线视频流问答场景的数据集VStream-QA,用于评价模型的在线视频流理解能力。Flash-VStream的性能在准确率和可信度分数上优于其他方法。
完成下面两步后,将自动完成登录并继续当前操作。