超越反遗忘：利用正向迁移进行多模式连续指导调整
内容提要
本文综述多模态大模型持续指令调整中的灾难性遗忘问题：持续微调会导致遗忘，多任务联合指令调整可缓解，任务相似性正则化与模型扩展效果良好；关键查询提示、连续提示调整、PROOF模型、多任务提示调整等方法可提升持续学习性能并减少遗忘，但多模态指令数据需求与响应真实性问题仍待解决。
延伸解读
多模态持续学习中的遗忘证据
文章指出，持续微调多模态大模型会导致灾难性遗忘，即使初期微调能提升其他数据集性能，但随着微调进行，模型开始产生幻觉并损失泛化能力。评估显示，几乎所有模型在标准图像分类任务上都无法保持视觉编码器的性能水平。这表明遗忘不仅是旧任务性能下降，还伴随生成内容真实性的退化，需在持续学习中同时关注准确性与可靠性。
缓解遗忘的多种技术路径
文章综述了多种缓解遗忘的方法：多任务联合指令调整可改善遗忘；基于任务相似性的正则化和模型扩展表现良好；关键查询提示通过输入条件权重组装预置组件生成提示；连续提示调整以参数高效方式避免遗忘并促进知识转移；PROOF模型训练任务特定映射解决类增量学习遗忘；多任务提示调整仅调整0.035%任务特定参数即接近或超越全微调。这些方法从数据、正则化、参数高效等角度提供了不同思路。
多模态指令数据的双重挑战
文章强调，当前多模态指令调整方法存在局限性，未能充分解决丰富多样的多模态指令数据集的需求，以及生成响应的真实性和事实性问题。这意味着即使采用上述缓解遗忘的技术，若训练数据不足或响应质量不高，模型仍可能输出不真实内容。因此，构建持续学习系统时，需同步关注数据多样性与响应真实性，而非仅优化遗忘指标。
Q&A
多模态大模型在持续指令调整中会遇到什么问题？
持续微调会导致灾难性遗忘，即模型在学习新任务时忘记旧任务的知识。多任务联合指令调整可以缓解遗忘问题，基于任务相似性的正则化和模型扩展方法也表现良好。
有哪些方法可以减轻多模态持续学习中的遗忘？
关键查询提示、连续提示调整、PROOF模型、多任务提示调整（MPT）等方法可提升持续学习性能并减少遗忘。此外，基于任务相似性的正则化和模型扩展也有效。
PROOF模型是如何解决持续学习中的遗忘问题的？
PROOF模型通过训练任务特定的映射来解决视觉语言模型在类增量学习中的遗忘问题，并通过融合多模态信息提高语义表示能力，在九个基准数据集上达到最先进性能。
多任务提示调整（MPT）方法有什么特点？
MPT通过从多个任务特定源提示中提取知识学习一个可传输的共享提示，然后学习该共享提示的乘性低秩更新以适应下游任务。在23个NLP数据集上，仅调整0.035%的任务特定参数，有时优于完全微调基线。
当前多模态指令调整存在哪些局限性？
当前方法未能充分解决丰富多样的多模态指令数据集的需求，以及生成响应的真实性和事实性问题。这些局限性揭示了适应图像理解的语言模型的现有方法学限制。
微调语言模型会对其他任务产生什么影响？
微调语言模型会在特定任务上产生性能提升，但对其他任务可能造成能力抑制。通过将任务翻译使其远离微调分布，可以恢复上下文学习能力，但也会使聊天机器人生成有害内容。
