最近的研究提出了Muffin框架和UniMM-Chat数据集，旨在提升多模态大型语言模型（MLLMs）的性能。Muffin利用预训练的视觉语言模型，显著提高了视觉语言任务的效果，超越了现有的先进模型，并展示了在图像和视频等任务中的应用潜力。