支持1024帧、准确率近100％，英伟达「LongVILA」开始发力长视频

LongVILA是一种用于训练和部署长上下文视觉语言模型的全栈解决方案。

长上下文能力结合多模态理解是当前模型发展的重要方向。

现有的长上下文视觉语言模型通常采用简化的方法，缺乏全面解决方案。

全栈设计对于长上下文视觉语言模型的训练至关重要，需要系统软件和数据工程的协同设计。

长上下文建模需要支持内存密集型训练的基础设施。

研究者建立了高效的多模态序列并行框架，支持长上下文视觉语言模型的训练。

LongVILA的训练流程分为五个阶段，包括多模态对齐、大规模预训练、短监督微调、上下文扩展和长监督微调。

MM-SP解决了KV缓存内存使用率的挑战，提高了推理效率。

实验结果表明，LongVILA在长视频字幕任务上表现优异，准确率达到99.5%。

研究者开发了基于序列并行的定制系统，以应对长上下文视觉语言模型的内存需求。

提出的2D注意力并行方法结合了环形和Ulysses序列并行的优势，提升了计算效率。

LongVILA的训练流程通过五个阶段逐步优化模型性能。

研究者对训练和推理系统进行了定量评估，显示出高效性和可扩展性。

LongVILA模型在不同帧数下的性能显著提高，展示了其在生成准确字幕方面的能力。