最近的多模态大型语言模型 (MLLMs) 在感知图像以及遵循开放性指令方面表现出令人印象深刻的能力。研究者提出了Muffin框架和UniMM-Chat数据集，Muffin框架使用预训练的视觉语言模型作为视觉信号的提供者，UniMM-Chat数据集生成了1.1M个高质量而多样化的多模态指令。实验结果表明Muffin框架和UniMM-Chat数据集在广泛的视觉语言任务中实现了最先进的性能。

本文介绍了 Muffin 框架和 UniMM-Chat 数据集，Muffin 使用预训练的视觉语言模型实现多模态指令跟随，在广泛的视觉语言任务中实现了最先进的性能。UniMM-Chat 数据集生成了 1.1M 个高质量多样化的多模态指令。