Video-LaVIT：统一的视频 - 语言预训练与解耦的视觉 - 运动词汇编
内容提要
本文综述多模态大模型研究进展，涵盖LaVIT、UniVL、VideoLLM、LiteVL、HD-VILA、VindLU等模型，通过统一视觉与语言表示、跨帧注意力、动态时序缩放等技术，将大语言模型推理能力迁移至图像和视频理解任务，在多项基准上取得领先性能。
延伸解读
统一视觉-语言表示的意义
LaVIT通过视觉分词器将图像转换为离散标记，使LLM能像处理文本一样处理视觉内容，实现了统一的生成学习范式。这种表示方法打破了仅以视觉内容为提示的限制，让模型在统一框架下无差别地处理图像和文本，为多模态理解与生成提供了新思路。
视频-语言预训练的技术路线
文章回顾了UniVL、VideoLLM、LiteVL等模型，它们分别采用多目标预训练、序列推理、动态时序缩放等技术，将LLM的推理能力迁移至视频理解。这些工作表明，跨帧注意力、非参数池化等机制能有效提升视频-语言任务的性能，即使不进行大规模视频-语言预训练。
高效适应与零样本能力
VindLU和跨帧注意力方法展示了如何以最小训练代价适应预训练图像-语言模型至视频任务。通过连续提示向量和视频特定提示，模型在动作识别、定位和检索等基准上达到领先水平，尤其在零样本和少样本场景下表现突出，这为资源受限下的视频理解提供了实用方案。
Q&A
LaVIT 是什么？它的核心创新点是什么？
LaVIT (Language-VIsion Transformer) 是一个统一的多模态大模型，其核心创新在于通过视觉分词器将非语言图像转换为离散标记，使 LLM 能像处理文本一样处理图像，从而在统一的生成学习范式下无差别地处理图像和文本。
UniVL 模型的主要目标是什么？它采用了哪些预训练策略？
UniVL 旨在为多模态理解和生成任务提供强大的视频和文本表示。它通过五个目标以及分阶段和增强视频表示的预训练策略来训练各组件，最终在五个下游任务上实现了最新成果。
VideoLLM 如何利用大语言模型进行视频理解？
VideoLLM 通过精心设计的模态编码器和语义转换器，将不同来源的输入转换为统一的标记序列，然后馈入仅解码的 LLM 中，从而利用 LLM 的序列推理能力进行视频序列理解。
LiteVL 模型在没有视频-语言预训练的情况下如何取得良好性能？
LiteVL 结合 BLIP 图像语言模型，通过动态时态缩放给图像编码器添加时间注意力模块，并提出非参数池化机制，以自适应地重新加权文本条件下的细粒度视频嵌入，从而在无视频-语言预训练的情况下取得良好性能。
HD-VILA 模型在哪些任务上取得了最新结果？
HD-VILA 是一个高分辨率和多样化的视频-语言预训练模型，它利用混合 Transformer 学习丰富的时空特征以及文本特征的交互，在 10 个 VL 理解任务和 2 个文本到视觉生成任务上取得了最新结果。
VindLU 模型分析了哪些影响视频-语言模型设计的关键因素？
VindLU 分析了现代视频和语言模型设计的最重要因素，包括时空建模、多模态融合、预训练数据选择和细调等，发现视频到文本多模态融合、掩蔽建模目标和图像和视频的联合训练等设计因素对于提高模型效果非常重要。
