最近，多模态大型语言模型在图像感知和指令执行上表现出色。研究表明，预训练的视觉语言模型能有效连接视觉与语言。基于此，提出了 Muffin 框架，利用预训练模型提供视觉信号，并推出 UniMM-Chat 数据集，生成了 110万条多模态指令。实验结果显示，Muffin 在视觉语言任务中表现优异，超越现有模型。

最近的多模态大型语言模型 (MLLMs) 在感知图像以及遵循开放性指令方面表现出令人印象深刻的能力。研究者提出了Muffin框架和UniMM-Chat数据集，Muffin框架使用预训练的视觉语言模型作为视觉信号的提供者，UniMM-Chat数据集生成了1.1M个高质量而多样化的多模态指令。实验结果表明Muffin框架和UniMM-Chat数据集在广泛的视觉语言任务中实现了最先进的性能。

本文介绍了 Muffin 框架和 UniMM-Chat 数据集，Muffin 使用预训练的视觉语言模型实现多模态指令跟随，在广泛的视觉语言任务中实现了最先进的性能。UniMM-Chat 数据集生成了 1.1M 个高质量多样化的多模态指令。