INSTRAUG: 多模态指令微调的自动指令增强
内容提要
本文综述大语言模型指令调优研究，涵盖Auto-Instruct自动生成并排序候选指令、MultiInstruct构建多模态指令基准、InstructionGPT-4用少量高质量数据微调多模态模型、Instruct-Imagen实现异质图像生成，以及Self-Instruct、CoachLM、InstructMining等方法提升指令数据质量与模型遵循能力。
延伸解读
指令质量比数量更关键
文章多次强调，指令数据的质量对模型性能影响极大。例如，InstructionGPT-4仅用200个高质量示例微调，就超越了使用更多数据的MiniGPT-4；CoachLM通过自动修订将高质量样本比例从17.7%提升到78.9%，并带来平均29.9%的指令跟随能力提升。这说明在资源有限时，优先提升数据质量比盲目扩大数据规模更有效。
自动增强降低人工依赖
Auto-Instruct、Self-Instruct和Instruction-augmentation等方法展示了自动生成或增强指令的潜力。Auto-Instruct通过生成候选指令并排序，在118个领域外任务上超越人工编写指令；Self-Instruct无需过多人工数据即可对齐预训练模型；Instruction-augmentation在低数据下性能等价于约200个样本。这些方法有助于非专家用户更便捷地定义新任务。
多模态指令调优仍存挑战
文章指出，当前多模态指令调优方法在复杂推理、对话等任务上虽有进展，但存在明显局限：未能充分满足丰富多样的多模态指令数据集需求，且生成响应的真实性和事实性问题尚未解决。这提示研究者和实践者，在利用多模态大模型时需谨慎对待其输出的可靠性，并关注数据集的覆盖范围。
Q&A
Auto-Instruct 是如何自动提升大语言模型指令质量的？
Auto-Instruct 通过生成多样化的候选指令，并使用基于 575 个 NLP 任务训练过的评分模型对候选指令进行排序，从而自动提高指令质量。在 118 个领域外任务上，它超越了人工编写和现有 LLM 生成的指令基线，并且对未参与训练的 LLM 也有泛化能力。
MultiInstruct 是什么？它有什么特点？
MultiInstruct 是第一个多模态指令调优基准数据集，旨在设计多个特定任务和多个专家编写的指令，利用现有开源数据集和迁移学习策略来优化 OFM 模型的零样本性能，并探索了新的评估指标——敏感性。
InstructionGPT-4 如何用少量数据提升多模态模型性能？
InstructionGPT-4 在仅包含 200 个示例的小数据集上微调，约为 MiniGPT-4 对齐数据集中指令遵循数据的 6%。它先提出评估多模态指令数据质量的度量标准，再基于这些标准设计数据选择器自动过滤低质量视觉语言数据。采用该方法后，InstructionGPT-4 在视觉问答、GPT-4 偏好等评估上优于原始 MiniGPT-4，表明较少但高质量的微调数据能有效提升多模态大模型输出质量。
Instruct-Imagen 模型解决了什么问题？它是如何工作的？
Instruct-Imagen 解决异质图像生成任务，并能泛化到未知任务。它通过引入多模态指导，利用自然语言将文本、边缘、风格、主题等不同模态融合，以统一格式标准化生成意图。采用两阶段框架：第一阶段用检索增强训练使模型在外部多模态上更好生成；第二阶段对需要视觉语言理解的图像生成任务进行精调，每个任务匹配包含任务本质的多模态指导。人工评估显示其在领域内媲美或超越先前特定任务模型，并对未知复杂任务有泛化能力。
CoachLM 如何提升指令数据集的质量和模型指令跟随能力？
CoachLM 通过自动修订样本来增强指令数据集质量，它训练自人工专家修订过的样本，将数据集中高质量样本比例从 17.7% 提高到 78.9%。它平均提升指令调优语言模型 29.9% 的指令跟随能力，并在华为 LLM 数据管理系统中实现高达 20% 的效率提升。
Self-Instruct 框架有什么作用？
Self-Instruct 框架可以将预训练模型与指令对齐，提高模型的指令遵循能力，无需过多人为指令数据，可用于微调，大大提高了模型的通用性。
InstructMining 是什么？它有什么作用？
InstructMining 用于评估指令遵循数据的质量，并使用该方法选择高质量数据进行微调。研究结果表明，使用 InstructMining 所选择的数据集表现出更优的性能。
当前多模态指令调优方法存在哪些局限性？
当前方法存在局限性，未能充分解决丰富多样的多模态指导数据集的需求，以及生成响应的真实性和事实性问题。这些发现揭示了适应图像理解的语言模型的现有方法学限制。
