CoTBal: 多任务视觉指令调整的综合任务平衡
内容提要
指令调优是提升大型语言模型在未知任务表现的有效方法。当前模型在变形指令下表现不稳，泛化能力不足。为此，提出对比指令调优（CoIN），通过优化语义相似性增强模型稳健性，实验表明准确率提高了2.5%。研究还探讨了视觉指令调整、持续学习中的灾难性遗忘及多任务学习的改进方法，并提出新的评估指标和数据集，推动多模态任务的适应性和灵活性。
延伸解读
CoIN 如何提升指令稳健性
文章指出，大型语言模型对指令的微小变形或风格变化敏感，导致输出不一致。对比指令调优（CoIN）通过最大化语义等效指令对的隐藏表示相似性、最小化不同语义指令对的相似性，来增强模型稳健性。在 PromptBench 基准上，CoIN 在字符、词、句子和语义级别均带来稳健性提升，平均准确率提高 2.5%。这表明优化表示空间的语义一致性是应对指令变化的一种有效途径。
视觉指令调整的研究脉络
文章综述了视觉指令调整方法，涵盖计算机视觉任务范式、发展历程、常用网络架构、评估设置与任务、常用数据集，并对已有方法进行分类对比，最后指出挑战与未来方向。此外，还介绍了构建 Vision-Flan 数据集和两阶段指导调优框架的工作，该框架解决了任务多样性和注释错误问题，并在多模态评估基准上取得最佳性能。这些工作共同推动了多模态任务的适应性和灵活性。
持续学习中的灾难性遗忘与多任务平衡
文章探讨了指令调整在持续学习大型多模型中的应用，发现持续调整过程中仍存在灾难性遗忘，但多任务联合指令调整可以改善遗忘问题。基于任务相似性的正则化和模型扩展方法在持续学习中表现良好。同时，多任务学习中的任务平衡问题通过尺度不变的多任务学习方法（SI-MTL）得到缓解，该方法包含对数变换和尺度不变的梯度平衡（SI-G），实验证明了其有效性。这些发现为多任务场景下的模型更新提供了参考。
Q&A
什么是对比指令调优（CoIN）？
对比指令调优（CoIN）是一种通过最大化语义上等效的指令实例对的隐藏表示之间的相似性，来增强大型语言模型对未知指令的稳健性的方法。
CoIN方法的实验结果如何？
实验表明，CoIN方法能够使大型语言模型在字符、词、句子和语义级别上对未知指令的稳健性持续提升，平均准确率提高了2.5%。
文章中提到的视觉指令调整有哪些研究方向？
文章系统综述了视觉指令调整的方法，包括计算机视觉任务范式、网络架构、评估设置和任务、以及已有方法的分类和对比。
持续学习中存在什么问题？
在持续学习中，仍然存在灾难性遗忘现象，但多任务联合指令调整可以改善这一问题。
如何解决多任务学习中的任务平衡问题？
通过引入尺度不变的多任务学习方法（SI-MTL），对任务损失进行对数变换并采用尺度不变的梯度平衡方法（SI-G）来规范化所有任务梯度。
文章提出了哪些新的评估指标和数据集？
文章提出了新的评估指标和数据集，以推动多模态任务的适应性和灵活性。
