一个多模态语言模型中理解长视频的方法
内容提要
本文探讨了大型语言模型（LLMs）在视频理解中的应用潜力，介绍了基于查询的长视频定位、VideoLLM框架和高效的MuLTI模型等新方法。这些方法通过优化特征融合和视觉交互，显著提升了长视频问答的性能，并在多个基准测试中取得了优异成绩。
延伸解读
长视频理解的技术路线分化
文章梳理了多种长视频理解方法，可归纳为三类：基于查询的帧选择、序列推理框架和高效特征融合。基于查询的方法利用图像语言预训练模型筛选相关帧，避免构建完整知识图谱；VideoLLM将视频序列转化为统一标记序列，借助LLM的序列推理能力；MuLTI则通过特征采样和注意力模块实现高效融合。这些路线反映了在计算资源与理解精度之间的不同权衡。
语言仓库与结构化信息维护
LangRepo通过维护简明有结构的信息作为可解释表示，并基于多尺度视频块迭代更新，引入写入和读取操作来修剪冗余、提取信息。这种方法在EgoSchema、NExT-QA等无监督视觉问答基准上表现最佳。其价值在于将长视频理解转化为对结构化文本仓库的维护，提升了可解释性，但依赖文本表示的完整性，可能丢失视觉细节。
多模态预训练的数据效率与可迁移性
长距离多模态预训练策略利用电影数据训练可传输的多模态和跨模态编码器，在LVU基准上取得最先进成果，并比先前工作更高效地利用数据。该模型在五个不同基准上评估了可转移性。这表明从电影中学习长距离关系有助于泛化，但电影数据的领域偏差可能影响其他场景的适用性，需进一步验证。
统一视觉语言模型与模块化框架的对比
统一的大规模视觉语言模型（LVLM）在语言特征空间中统一视觉表示，学习多模态交互，在图像和视频基准上表现卓越。而LLoVi采用模块化设计，结合视觉描述器和LLM，将短期和长期建模分解为两阶段。统一模型可能更简洁，但模块化框架更灵活，可替换组件。两者各有适用场景，选择取决于任务需求与资源约束。
Q&A
大型语言模型在视频理解中有哪些优势？
大型语言模型在视频理解中展现出强大的空间时间推理能力和通识知识，具有良好的可扩展性和多功能性。
什么是VideoLLM框架，它的作用是什么？
VideoLLM框架利用NLP预训练LLMs的序列推理能力进行视频序列理解，证明了LLMs在视频理解任务中的有效性。
MuLTI模型是如何提高视频和语言理解性能的？
MuLTI模型通过特征采样和注意力模块实现高效特征融合，并引入新的预训练任务以增强视频和文本的对齐能力。
长距离多模态预训练策略的主要贡献是什么？
长距离多模态预训练策略通过电影数据训练可传输的多模态编码器，在多个基准测试中取得了最先进的成果。
LangRepo在长文本视频理解中有什么作用？
LangRepo用于长文本视频理解，通过维护结构化信息和提取冗余信息，表现出最新的性能。
LLoVi框架是如何实现长距离视频问答的？
LLoVi框架结合视觉描述器和大型语言模型，将短期和长期建模分解为两个阶段，从而实现对整个视频的理解和问题的回答。
