从图像到视频，多模态 LLMs 需要什么？
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
本文综述了大型语言模型（LLMs）在视频理解中的应用潜力，探讨了多模态大型语言模型（MLLMs）的发展、架构和训练技术，以及它们在视觉理解任务中的表现。提出了VideoLLM和Audio-Visual LLM等新框架，展示了其在视频理解中的有效性和性能提升。
❓
Q&A
多模态大型语言模型（MLLMs）在视频理解中有哪些优势？
MLLMs在视频理解中表现出色，尤其在空间时间推理和通识知识方面具有明显优势。
VideoLLM框架的主要功能是什么？
VideoLLM框架利用NLP预训练LLMs的序列推理能力进行视频序列理解，提升了视频理解任务的有效性。
Audio-Visual LLM是如何进行视频理解的？
Audio-Visual LLM通过同时接收视觉和听觉输入，利用模态增强训练实现综合视频理解。
如何提升多模态大型语言模型的视觉感知能力？
通过专家混合知识增强机制，可以改善MLLMs的视觉感知能力，提升视觉输入的准确性。
多模态大型语言模型的训练技术有哪些？
主要的训练技术包括Fine-tuning和prompt engineering，这些技术有助于提升模型性能。
统一的大规模视觉语言模型（LVLM）有什么特点？
LVLM通过在语言特征空间中统一视觉表示，学习多模态交互，在图像和视频任务上表现卓越。
🏷️
