LLaVA-$φ$: 高效的多模态助手与小型语言模型
内容提要
该文综述多模态大模型进展：LLaVA-Plus借助工具库调用视觉模型完成实际任务；u-LLaVA用LLM连接专家模型以缓解任务干扰；Valley支持视频、图像与语言对话；LLaSM实现语音与语言的跨模态交互；TinyGPT-V以小型骨干实现低成本视觉语言交互；LLaVA-Med回答生物医学图像问题；LLaVA-Interactive支持多轮多模态交互；MMA通过轻量适配器联合优化并切换单模态与多模态指令；另有研究验证LMMs的零样本图像分类能力并强化LLaVA基线。
延伸解读
多模态助手的两条路径：工具调用与专家桥接
LLaVA-Plus 通过激活预训练的视觉和视觉语言模型工具库来扩展功能，适合需要组合多种视觉能力的实际任务；u-LLaVA 则将 LLM 作为连接多个专家模型的桥梁，以缓解任务间的幻觉和相互干扰。两者都试图解决单一模型能力有限的问题，但前者侧重外部工具调度，后者侧重内部专家协同，读者可据此判断不同架构的适用场景。
小型化与低成本交互的探索
TinyGPT-V 以小型骨干网络实现语言-视觉交互，强调低计算资源需求；LLaVA-Interactive 结合 LLaVA 的可视化聊天、SEEM 的图像分割以及 GLIGEN 的图像生成和编辑，具备成本极低的开发特点。这些工作表明，多模态交互不一定依赖超大模型，通过合理组合现有组件也能覆盖多轮对话和可视化提示等场景。
垂直领域与跨模态扩展
LLaVA-Med 利用 PubMed Central 图面注释、GPT-4 生成提问和课程学习训练，能回答生物医学图像的开放性问题；LLaSM 则实现语音与语言的端到端跨模态对话。两者分别展示了多模态模型在专业领域和交互模态上的延伸，但文章未给出临床或通用场景的落地验证，读者需注意其适用范围仍受训练数据限制。
零样本分类能力与基线强化
有研究用特定提示词让 LMMs 执行图像分类，在 MNIST、Cats Vs. Dogs、Hymnoptera 和 Pox Vs. Non-Pox 数据集上无需微调即达到 85%、100%、77% 和 79% 的准确率，细调后面部照片和自闭症儿童数据集也有改进。另一项工作通过 CLIP-ViT-L-336px、MLP 投影和学术 VQA 数据强化 LLaVA 基线，在 11 个基准上达到最新成果，说明简单修改加数据补充仍能有效提升性能。
Q&A
LLaVA-Plus 是如何扩展多模态助手功能的？
LLaVA-Plus 通过激活与用户输入相关的工具，并维护一个预训练的视觉和视觉语言模型的技能存储库，从而扩展大型多模态模型的功能，以完成实际任务。
u-LLaVA 方法主要解决多模态 LLM 的什么问题？
u-LLaVA 方法通过将 LLM 作为连接多个专家模型的桥梁，来解决多模态 LLM 在任务间产生的幻觉和相互干扰问题。
Valley 模型支持哪些模态的感知和对话？
Valley 模型支持对视频、图像和语言的感知，并能进行各种任务定向的对话。
LLaSM 模型有什么特点？
LLaSM 是一个经过端到端训练的大规模多模态语音语言模型，具备跨模态对话能力，能够遵循语音和语言指令，提供更便捷自然的人机交互方式。
TinyGPT-V 如何实现低计算资源的多模态交互？
TinyGPT-V 通过小型骨干网络实现高效的语言-视觉交互，从而降低计算资源需求，为设计成本效益高的多模态大模型提供基础。
LLaVA-Med 是做什么的？
LLaVA-Med 是一个大型语言与视觉助手，利用 PubMed Central 数据集中的图面注释数据、GPT-4 生成提问数据和新型课程学习方法训练，能回答有关生物医学图像的开放性研究问题，并在标准生物医学视觉问答数据集上表现出优异的多模态会话能力。
LLaVA-Interactive 系统具备哪些多模态技能？
LLaVA-Interactive 结合了 LLaVA 的可视化聊天、SEEM 的图像分割以及 GLIGEN 的图像生成和编辑三种多模态技能，能够通过多模态输入和输出进行多轮对话，并具有可视化提示功能以对齐人类意图。
MMA 方法是如何实现单模态与多模态指令切换的？
MMA 采用轻量级的适配器模块来搭建 LLMs 和 VL 任务之间的桥梁，实现图像和语言模型的联合优化，并具有自适应切换单模和多模指令的功能。
LLaVA 基线模型在哪些方面进行了改进并取得了什么成果？
通过对 LLaVA 进行简单修改，采用 CLIP-ViT-L-336px 与 MLP 投影以及添加面向学术任务的 VQA 数据，建立了更强的基线模型，在 11 个基准测试中达到了最新的成果。
