CluMo：基于聚类的模态融合提示在视觉问答中的持续学习
内容提要
本研究提出了混合模态适应方法（MMA），通过轻量级适配器模块实现图像与语言模型的联合优化，提升训练效率和性能。同时，介绍了PROOF模型以解决视觉语言模型的遗忘问题，Dynamic Visual Prompting（DVP）方法有效结合预训练语言模型与视觉语言任务。Prompt-based Continual Learning（LGCL）和ConvPrompt模型进一步提升了连续学习性能，展示了在多模态任务中的应用潜力。
延伸解读
多模态持续学习的技术演进
文章梳理了从2023年5月到2024年6月的一系列研究，展示了多模态持续学习领域的技术发展脉络。早期工作如MMA和PROOF分别关注模态融合与遗忘问题，随后DVP、LGCL等方法探索了基于提示的学习策略。2024年的ConvPrompt、CoKnow、TVP等进一步优化了提示机制和知识表示，而prompt-aware适配器和模态感知特征蒸馏则强调了动态适应和模态特定性的重要性。这些进展共同推动了视觉问答等任务中持续学习性能的提升。
轻量适配器与提示学习的效率优势
多项研究通过轻量级适配器或提示调优来实现高效的多模态适应。例如，MMA采用轻量适配器模块联合优化图像和语言模型，提升了训练效率；LGCL作为插件无需额外可学习参数；ConvPrompt通过卷积提示机制在减少参数开销的同时显著提升性能。这些方法表明，在保持预训练模型参数完整性的前提下，通过引入少量可训练参数或提示，能够有效平衡性能与效率，为实际部署提供了可行路径。
克服灾难性遗忘的关键策略
针对持续学习中的灾难性遗忘问题，文章介绍了多种解决方案。PROOF通过任务特定映射和融合多模态信息来缓解遗忘；ConvPrompt利用卷积提示创建机制和层共享嵌入促进概念传递；模态感知特征蒸馏则强调处理模态特定动态性以防止遗忘。这些策略从不同角度入手，或通过任务隔离，或通过知识蒸馏，或通过动态提示选择，共同提升了模型在连续任务上的保持能力，并在多个基准上达到了最先进水平。
Q&A
混合模态适应方法（MMA）是什么？
混合模态适应方法（MMA）是一种通过轻量级适配器模块实现图像与语言模型的联合优化的方法，具有自适应切换单模和多模指令的功能。
PROOF模型解决了什么问题？
PROOF模型解决了视觉语言模型在连续学习中的遗忘问题，通过训练任务特定的映射来提高模型的语义表示能力。
Dynamic Visual Prompting（DVP）方法的优势是什么？
Dynamic Visual Prompting（DVP）方法在效率和性能方面具有优势，能够有效结合预训练语言模型与视觉语言任务。
Prompt-based Continual Learning（LGCL）如何提高学习性能？
LGCL通过引入任务级别和类别级别的语言引导，持续提高Prompt-based连续学习方法的性能，并且不需要额外的可学习参数。
ConvPrompt模型是如何克服灾难性遗忘问题的？
ConvPrompt模型通过维护逐层共享的嵌入，实现层特定学习，从而克服了连续学习中的灾难性遗忘问题。
prompt-aware适配器的作用是什么？
prompt-aware适配器根据提示的特定焦点动态嵌入视觉输入，增强大型语言模型理解视觉内容的能力。
