CoIN：一个用于多模型大型语言模型的连续指令调整基准测试
内容提要
指令调优是提升大型语言模型（LLMs）在未知任务表现的有效方法。研究提出对比指令调优（CoIN），通过扩充指令数据集和引入顺序指令调整，增强模型的稳健性，使其在多语言和多模态任务中表现优于传统方法。文章还探讨了指令调整的潜在问题及改进方向，以推动复杂任务的研究进展。
延伸解读
指令调优的稳健性挑战
文章指出，当前大型语言模型在面对未知指令时稳健性有限，当相同指令以稍微变形或语言风格变化的形式表达时，会生成不一致的输出。这揭示了模型对文本变化的稳健性和对未见指令的泛化能力存在缺陷，可能引发不可靠性问题。因此，提升模型对指令变体的稳健性成为指令调优研究的重要方向。
对比指令调优（CoIN）的核心机制
CoIN通过最大化语义等效指令实例对的隐藏表示相似性，并最小化不同语义实例对的相似性，来增强模型稳健性。为支持该方法，研究者通过改写任务指令扩充了现有的FLAN集合。在PromptBench基准测试中，CoIN在字符、词、句子和语义级别上均持续提升了模型对未知指令的稳健性，平均准确率提高2.5%。
顺序指令调整应对复杂任务
大型语言模型在单个查询中难以遵循一系列指令，可能忽略或错误解释部分指令，影响其在多语言（如翻译然后回答）和多模态（如字幕然后回答）等复杂任务中的性能。针对顺序指令数据稀缺的问题，文章提出顺序指令调整，自动增加指令调整数据并赋予模型执行多个顺序指令的能力。实验表明，该模型在推理、多语言和多模态下游任务中优于传统指令调整基线。
持续学习中的灾难性遗忘与改进
文章探讨了指令调整在持续学习大型多模型中的应用，发现持续调整过程中仍存在灾难性遗忘现象，但多任务联合指令调整可以改善遗忘问题。此外，基于任务相似性的正则化和模型扩展方法在持续学习中表现良好。这些发现为提升模型在持续学习场景下的指令遵循能力提供了改进方向。
Q&A
什么是对比指令调优（CoIN）？
对比指令调优（CoIN）是一种通过最大化语义等效指令实例对的相似性来提升大型语言模型稳健性的方法。
顺序指令调整有什么优势？
顺序指令调整能够自动增加指令调整数据，使模型能够执行多个顺序指令，在推理、多语言和多模态任务中表现优于传统方法。
指令调优在大型语言模型中的作用是什么？
指令调优可以改善大型语言模型在未知任务上的表现，提升其对未知指令的稳健性和泛化能力。
指令调优面临哪些潜在问题？
指令调优可能导致模型在面对未知指令时输出不一致，表现出有限的稳健性和泛化能力。
如何提高大型语言模型的准确率？
通过对比指令调优，平均准确率可以提高2.5%，增强模型对未知指令的稳健性。
指令调整的研究方向有哪些？
研究方向包括改进指令调整方法、解决灾难性遗忘现象以及探索多任务联合指令调整等。
