Slot-VLM：视频 - 语言建模的 SlowFast 插槽
内容提要
本文综述视频-语言模型进展，涵盖E-ViLM、VideoLLM、VTimeLLM、EfficientVLM、MobileVLM、LiteVL、Slot-VPS及检索式方法，分别提升效率、推理理解、细粒度时刻理解、模型压缩、移动端推理、免预训练、视频全景分割和长视频问答性能。
延伸解读
视频-语言模型的多路径演进
文章综述了多种视频-语言模型，如E-ViLM、VideoLLM、VTimeLLM等，它们分别从效率、推理、细粒度理解等角度推进技术。E-ViLM通过掩码视频建模和语义向量量化提升效率；VideoLLM利用LLM的序列推理能力进行视频理解；VTimeLLM采用三阶段训练策略增强时刻理解。这些工作表明，视频-语言建模正朝着多样化、专用化方向发展，不同模型针对不同瓶颈提出解决方案。
效率与轻量化成为关键趋势
EfficientVLM通过蒸馏和剪枝将模型压缩至9300万参数，保持98.4%性能；MobileVLM专为移动设备设计，集成1.4B和2.7B语言模型，在骁龙888 CPU和Jeston Orin GPU上分别达到21.5和65.3 token/秒的推理速度；LiteVL无需视频-语言预训练，通过动态时态缩放和非参数池化实现良好性能。这些工作共同指向在资源受限环境下部署视频-语言模型的实际需求。
长视频与细粒度理解的技术突破
针对长视频问答，检索式方法通过识别最相关视频片段并以其视觉标记作为上下文，减少令牌数量并消除噪音。Slot-VPS采用对象中心学习，将全景实体编码为插槽，通过Video Panoptic Retriever实现端到端视频全景分割，在Cityscapes-VPS和VIPER数据集上取得63.7、63.3、56.2 VPQ。这些方法提升了模型对长视频和细粒度时空信息的处理能力。
Q&A
E-ViLM 是什么？它有什么特点？
E-ViLM 是一种高效的视频-语言模型，采用掩码视频建模（MVM）模式和语义向量量化的分词器。通过简化的任务和常规预训练模型，它能从视频-语言语料库中学习表达性表示，并在视频问答、文本到视频检索等任务中具有很好的泛化性能，实现了明显的效率提升。
VideoLLM 如何利用 LLM 进行视频理解？
VideoLLM 利用自然语言处理预训练 LLM 的序列推理能力进行视频序列理解。它通过精心设计的模态编码器和语义转换器，将不同来源的输入转换为统一的标记序列，然后馈入仅解码的 LLM 中。实验证明，LLM 的理解和推理能力可以有效地转移到视频理解任务中。
VTimeLLM 在视频理解方面有什么优势？
VTimeLLM 采用三阶段训练策略，在细粒度的视频时刻理解和时间边界推理方面取得显著性能优势，能够有效超越现有的 Video LLMs 模型。
EfficientVLM 是如何实现模型压缩的？
EfficientVLM 利用蒸馏和剪枝技术，通过知识蒸馏和模态自适应剪枝等手段，获取一个更快、更小但更准确的模型。最终模型仅含 9300 万参数，具有 98.4% 的性能表现，并在各种视觉-语言任务中取得令人瞩目的结果。
MobileVLM 在移动设备上的性能如何？
MobileVLM 是专为移动设备设计的多模式视觉语言模型，集成了移动设备定向的架构设计和技术，包括从头训练的 1.4B 和 2.7B 参数规模的语言模型，以及使用 CLIP 风格预训练的多模式视觉模型。在高通骁龙 888 CPU 和 NVIDIA Jeston Orin GPU 上，推断速度分别达到 21.5 个 token 和 65.3 个 token 每秒，与一些更大模型相比表现出相当的性能。
LiteVL 在没有视频-语言预训练的情况下如何取得良好性能？
LiteVL 结合 BLIP 图像语言模型，通过使用动态时态缩放，给图像编码器添加时间注意力模块，并提出非参数池化机制，以自适应地重新加权文本条件下的细粒度视频嵌入，从而在没有进行任何视频-语言预训练的情况下取得了良好的性能。
Slot-VPS 框架是如何实现视频全景分割的？
Slot-VPS 框架使用对象中心学习的方法，将所有视频中的 panoptic 实体编码成 panoptic slots，通过 Video Panoptic Retriever 来检索和编码统一的空间-时间信息，实现了对视频中对象的定位、分割、区分和关联，从而实现了 Video Panoptic Segmentation 任务的端到端处理。该方法在 Cityscapes-VPS 和 VIPER 数据集上均取得了 63.7、63.3、56.2 VPQ 的最优性能。
检索式视频语言模型如何提升长视频问答性能？
检索式视频语言模型通过识别和选择最相关的视频片段，并使用其关联的视觉标记作为上下文，从而降低了视频令牌的数量，消除了噪音干扰，并提高了系统性能。
