INSTRAUG: 多模态指令微调的自动指令增强
原文约400字，阅读约需1分钟。发表于：。通过自动指令增强方法名 INSTRAUG 的多模态任务中的精调大型语言模型（LLMs）可以在 12 个多模态任务中显著提高多模态大型语言模型（MLLMs）的对齐度，相当于多次扩大训练数据的好处。
本文介绍了instruct-imagen模型，解决了异质图像生成任务并可泛化到未知任务。通过引入多模态指导，利用自然语言将不同模态融合在一起，以统一格式标准化生成意图。通过两阶段框架构建模型，利用预训练的文本到图像扩散模型进行精调。在各种图像生成数据集上的评估表明，instruct-imagen在领域内与特定任务的模型相媲美甚至超越，并展示了对未知和更复杂任务的泛化能力。
