LLMs 迎接长视频：LLMs 中使用互动视觉适配器提升长视频理解
内容提要
综述指出，大型语言模型推动视频理解发展，在时空推理和通识知识方面优势显著。VideoLLM、Audio-Visual LLM、Video-LLaMA、LLoVi、LVChat、InfMLLM等框架通过统一多模态标记、检索相关片段、音视频联合训练及高效视频分解，提升了长视频问答与多模态任务性能。
延伸解读
长视频理解的技术路线分化
文章梳理了多种长视频理解框架，可归纳为不同技术路线：VideoLLM 将多模态输入统一为标记序列，依赖 LLM 的序列推理能力；LLoVi 采用语言框架，将长视频问答分解为短期和长期两阶段；检索式方法则通过选择最相关片段来减少令牌数量并消除噪音。这些路线在效率与精度上各有取舍，读者可关注其适用场景差异。
音视频联合训练的价值与挑战
Audio-Visual LLM 通过模态增强训练，集成模态特定标记来激活相应编码器，实现端到端的多模态联合训练，并在零样本任务中表现良好。Video-LLaMA 同样结合视觉与音频编码器，能捕捉时间变化并整合音视频信号。这表明听觉信息对视频理解有增益，但如何有效对齐和融合两种模态仍是关键挑战。
高效处理超长视频的工程思路
针对超长视频输入，LVChat 引入动态调整嵌入数量以适应视频时长，并采用重复位置嵌入和交错多组视频的方法，在长视频问答和字幕基准上准确率提升高达 27%。另一项工作则通过高效视频分解，将视觉和时间信息离散化为少量标记，以支持大规模生成式预训练。这些思路共同指向降低计算开销的同时保持理解能力。
视觉定位信息的保留策略
InfMLLM 通过引入 pool-adapter 模块，在压缩视觉嵌入的同时保留其位置信息，从而在图像描述、视觉问答和视觉定位等任务中达到与最新多模态大语言模型相当或超越的性能。这提示在长视频理解中，位置信息的保留对于需要精确定位的任务尤为重要，是平衡效率与精度的关键设计之一。
Q&A
VideoLLM 是什么？它如何利用 LLMs 进行视频理解？
VideoLLM 是一个新框架，它利用自然语言处理预训练 LLMs 的序列推理能力来进行视频序列理解。通过精心设计的模态编码器和语义转换器，将不同来源的输入转换为统一的标记序列，然后馈入仅解码的 LLM 中。实验证明，LLMs 的理解和推理能力可以有效地转移到视频理解任务中。
Audio-Visual LLM 如何实现音视频联合理解？
Audio-Visual LLM 通过同时接收视觉和听觉输入来进行综合视频理解。其关键设计是模态增强训练，通过集成专门设计的模态特定标记来有选择地激活适当的视觉和/或听觉编码器。此机制对于实现端到端的多模态视频数据联合训练至关重要，并在各种视频理解任务中取得了令人印象深刻的零样本结果。
LLoVi 是如何处理长视频问答的？
LLoVi 是一个用于长距离视频问答的基于语言的框架。它使用基于帧/片段级的视觉描述器和大型语言模型（如 GPT-3.5，GPT-4），结合简单且有效的 LVQA 框架，将短期和长期建模方面分解为两个阶段，从而实现对整个视频的理解和问题的回答。
Video-LLaMA 有哪些特点？
Video-LLaMA 是一种多模态框架，通过将预训练的视觉和音频编码器与预训练的大型语言模型结合，实现对视频内容的理解。它具有捕捉视觉场景中的时间变化和整合音频-视觉信号等优势，因此被视为具有潜力的音视频 AI 助手原型。
LVChat 如何提升长视频问答的准确度？
LVChat 通过引入动态调整嵌入数量以适应视频时长的方式，以及重复位置嵌入和交错多组视频以处理超长视频输入的方法，在长视频问答数据集和长视频字幕基准测试中，实验证明 LVChat 在准确度上优于现有方法高达 27%。
InfMLLM 中的 pool-adapter 模块有什么作用？
InfMLLM 通过引入 pool-adapter 模块，保留视觉嵌入的位置信息，从而在图像描述、视觉问题回答和视觉定位等任务中达到了与最新的多模态大语言模型相当或超越的性能。
