MUFFIN: 为改善指令遵循而策划多方面指令
原文中文,约400字,阅读约需1分钟。发表于: 。通过扩展输入和无需输入的任务,提高大型语言模型在指令遵从能力方面的表现,并引入了一种新的指令遵循数据集策略 MUFFIN,实验结果表明,使用 MUFFIN 训练的不同规模的大型语言模型在指令遵循能力上优于使用其他两种方案训练的模型。
最近的多模态大型语言模型 (MLLMs) 在感知图像以及遵循开放性指令方面表现出令人印象深刻的能力。研究者提出了Muffin框架和UniMM-Chat数据集,Muffin框架使用预训练的视觉语言模型作为视觉信号的提供者,UniMM-Chat数据集生成了1.1M个高质量而多样化的多模态指令。实验结果表明Muffin框架和UniMM-Chat数据集在广泛的视觉语言任务中实现了最先进的性能。