MUFFIN: 为改善指令遵循而策划多方面指令

最近的多模态大型语言模型 (MLLMs) 在感知图像以及遵循开放性指令方面表现出令人印象深刻的能力。研究者提出了Muffin框架和UniMM-Chat数据集，Muffin框架使用预训练的视觉语言模型作为视觉信号的提供者，UniMM-Chat数据集生成了1.1M个高质量而多样化的多模态指令。实验结果表明Muffin框架和UniMM-Chat数据集在广泛的视觉语言任务中实现了最先进的性能。