首个多模态连续学习综述，港中文、清华、UIC联合发布
💡
原文日文，约3800字，阅读约需10分钟。
📝
内容提要
AIxiv专栏报道了多模态连续学习（MMCL）的进展及其面临的挑战，如灾难性遗忘、模态失衡和高计算成本。研究者提出了基于正则化、架构、重放和提示的方法来应对这些问题，未来可探索更多模态交互和高效微调的方向。
🎯
关键要点
- 多模态连续学习（MMCL）旨在从多模态数据中持续学习，面临灾难性遗忘、模态失衡和高计算成本等挑战。
- 模态失衡指不同模态的数据和参数处理不均衡，可能导致学习过程整体失衡。
- 复杂模态交互包括模态对齐和模态融合，给MMCL带来独特挑战，可能导致性能下降。
- 高计算成本是由于多模态的引入增加了可训练参数的数量，导致计算开销加重。
- 预训练零样本能力的退化可能导致未来任务性能下降，影响MMCL的有效性。
- MMCL方法可分为四类：基于正则化、基于架构、基于重放和基于提示的方法。
- 基于正则化的方法通过对参数施加约束来减少遗忘，基于架构的方法通过特定于任务的组件减少任务间干扰。
- 基于重放的方法利用情节记忆缓冲区重放历史实例以保持早期知识，基于提示的方法通过少量提示参数修改输入以保留原有知识。
- 未来研究方向包括提高模态数量与质量、改进模态交互策略、开发参数高效微调的MMCL方法和维护预训练知识。
- 可信赖的多模态连续学习将成为一个重要方向，联邦学习等技术可增强模型的可信赖性。
➡️
