本文探讨了生成AI在内容修改方面的不足，并提出了mrCAD数据集以促进多模态指令的交流。研究表明，现有视觉语言模型在处理生成指令时优于细化指令，为多模态语言的分析和建模奠定了基础。

本文介绍了 Muffin 框架和 UniMM-Chat 数据集，Muffin 使用预训练的视觉语言模型实现多模态指令跟随，在广泛的视觉语言任务中实现了最先进的性能。UniMM-Chat 数据集生成了 1.1M 个高质量多样化的多模态指令。