7B最强长视频模型！ LongVA视频理解超千帧，霸榜多个榜单
内容提要
新加坡南洋理工大学的LMMs-Lab团队与其他机构的研究人员共同开发了一种名为LongVA的长视频模型，能够处理超过千帧的视频数据，并在视频理解榜单和MLVU基准测试中取得了很好的成绩。研究团队通过扩展语言模型的上下文能力，成功将这种能力传递到视觉模态上，无需进行长视频训练。他们还提出了一种名为Visual Needle-In-A-Haystack的基准测试，证明了LongVA在视觉大海捞针测试中的优秀表现。
延伸解读
长上下文迁移：无需长视频训练的新思路
LongVA 的核心创新在于长上下文迁移：通过扩展语言模型的文本上下文长度，并将该能力迁移到视觉模态，从而在不进行长视频训练的情况下理解超长视频。具体做法是先用长文本数据训练语言模型，再用短图像数据进行模态对齐。这种方法避免了收集和标注长视频数据集的困难，为长视频理解提供了新方向。
V-NIAH 基准：评估长视频理解的“大海捞针”
为了评估多模态模型的长视频视觉上下文能力，团队提出了 Visual Needle-In-A-Haystack (V-NIAH) 基准。该测试将图像问答作为“针”插入长视频中，要求模型定位并回答。LongVA 在 2000 帧内几乎全对，3000 帧仍保持不错正确率，但也存在 Lost-In-The-Middle 现象，即对视频中间部分的信息回忆较弱。
性能表现：7B 规模下的 SoTA 与开源领先
在 Video-MME 榜单上，LongVA 排名第七，并达到 7B 模型的 SoTA。在 MLVU 基准测试中，LongVA 仅次于 GPT-4o，位列最强开源模型。这些成绩表明，LongVA 在长视频理解任务上具有竞争力，尤其考虑到其模型规模仅为 7B，且未使用长视频训练数据。
技术细节：UniRes 编码与训练优化
LongVA 采用 UniRes 统一编码方案处理图像和视频，类似 LLaVA-1.6 的 AnyRes 但去除了 base image 部分，并对每个网格进行 2x2 特征池化，确保表示一致。训练中使用 Qwen2-7B-Instruct 作为底座，通过 FlashAttention-2、Ring Attention 等优化策略将文本上下文扩展至 224K，提升了训练效率和内存利用率。
Q&A
LongVA模型的主要功能是什么？
LongVA模型能够处理超过千帧的视频数据，并在视频理解方面表现优异。
LongVA是如何实现长视频理解的？
LongVA通过长上下文迁移技术，将语言模型的上下文能力扩展到视觉模态，无需进行长视频训练。
LongVA在视频理解榜单上的表现如何？
LongVA在Video-MME榜单上排名第七，并在MLVU基准测试中仅次于GPT-4o，成为最强的开源模型。
Visual Needle-In-A-Haystack基准测试的目的是什么？
该测试旨在评估模型在长视频中定位特定图像的能力，类似于从大海捞针。
LongVA模型的训练策略是什么？
LongVA采用短上下文训练和长上下文测试的策略，先用短图像数据训练，再用长视频进行测试。
LongVA在处理长视频时面临哪些挑战？
主要挑战是视觉token数量过多和缺乏高质量的长视频数据集。
