MCF-VC: 缓解多模态视频描述中的类递增学习中的灾难性遗忘
内容提要
该文综述类增量学习与灾难性遗忘，覆盖视频分类、少样本语音、多模态大模型及在线学习场景，提出时间通道映射、知识蒸馏、对比学习、Fwd-Prompt、元学习、异质遗忘补偿等框架，并在多个数据集上验证有效性。
延伸解读
视频增量学习的独特挑战
与图像数据不同，视频包含丰富的时间信息，这为增量学习带来了额外挑战。文章指出，利用时间通道重要性映射和知识蒸馏可以更好地缓解视频识别中的遗忘问题，并且这种针对视频特性的方法比直接套用图像增量学习方法更有效。
多模态大模型的持续学习需求
多模态大语言模型需要不断适应新需求，但重新训练成本高昂。文章提到，通过Fwd-Prompt方法可以解决持续指令微调中的灾难性遗忘和前向迁移问题，使模型无需昂贵重训即可满足持续涌现的要求。
简单方法也能有效缓解遗忘
文章指出，使用简单组件和平衡内外任务学习的损失函数组合，就能解决经典遗忘现象。同时，表示质量差是导致遗忘的另一原因，适当的正则化可以改进性能。这些简单方法在CIFAR-100和ImageNet上取得了领先结果，且易于实现。
在线学习场景的额外障碍
在线学习场景面临两个主要障碍：新类的学习以及旧类新观测值的变化。文章提出修改的交叉蒸馏损失和两步学习技术来解决前者，并通过更新范例集合来减轻后者，在在线食品图像分类应用中展示了性能。
Q&A
什么是类增量视频分类（CIVC）中的灾难性遗忘？
灾难性遗忘是指模型在学习新类别时，会严重遗忘之前学过的旧类别知识，导致旧类别的性能大幅下降。
有哪些方法可以缓解视频增量学习中的灾难性遗忘？
常见方法包括时间通道重要性映射、知识蒸馏、有监督对比学习、Fwd-Prompt、元学习（如MAML扩展）、异质遗忘补偿（HFC）等。
MCF-VC框架在哪些数据集上进行了评估？效果如何？
MCF-VC在Something-Something V2和Kinetics数据集上进行了评估，结果显示其显著优于之前最先进的类别增量学习方法。
多模态持续指令调优（MCIT）如何解决灾难性遗忘和负向前向迁移？
MCIT通过Fwd-Prompt方法解决灾难性遗忘和负向前向迁移问题，使多模态大语言模型能够持续适应新需求而无需昂贵的重新训练。
在少样本语音单词分类中，如何利用元学习缓解灾难性遗忘？
通过模型无关元学习（MAML）的扩展，在用户定义的关键词系统中增量引入新词类，从而缓解灾难性遗忘。
在线学习场景下增量学习面临哪些主要障碍？如何解决？
主要障碍包括新类的学习和旧类的新观测值的变化。解决方法包括引入修改的交叉蒸馏损失和两步学习技术，以及通过更新范例集合来减轻旧类新观测值的影响。
