基于预训练模型的高效类增量学习重放方法
内容提要
本文调查了图像分类中的类增量学习方法，评估了多种方法和网络架构。研究发现，简单组件和损失函数组合可缓解经典遗忘现象。提出的YONO方法通过压缩原型回放提高性能，并引入预训练模型增强泛化能力。实验结果显示，LwPK方法有效抵御灾难性遗忘，提升模型性能。
延伸解读
从简单方法到预训练模型：类增量学习的演进
文章梳理了类增量学习的发展脉络：早期研究通过简单组件和损失函数组合缓解遗忘，随后出现NCM分类器、元学习框架等改进。2022年提出的YONO方法仅需每类回放一个压缩原型，性能却优于传统示例回放，并可通过合成数据进一步扩展。2023年后，预训练模型（如稳定扩散模型）被引入作为额外数据源，LwPK方法利用未标记数据增强泛化，标志着该领域正从复杂回放策略转向借助预训练知识。
YONO与LwPK：两种代表性方法的对比
YONO和LwPK分别代表了类增量学习的两条技术路径。YONO聚焦于回放策略的优化，通过压缩原型和合成数据减少干扰，适合存储和计算资源受限的场景。LwPK则利用预训练模型和未标记的增量类别数据，通过聚类生成伪标签进行联合训练，更侧重于提升模型泛化能力。两者都旨在解决灾难性遗忘，但YONO强调回放效率，LwPK强调知识迁移，实际应用中可根据数据标注情况和预训练资源选择。
评估基准与性能度量：文章中的实验视角
文章在CIFAR-100和ImageNet等大规模数据集上进行了广泛实验，并比较了多种网络架构。研究不仅关注遗忘率，还提出了新的遗忘度量，并指出表示质量差是遗忘的另一原因。此外，文章发现精度不平衡现象，即旧类别遗忘率较高，并提出了预测和提升旧类别精度的方法。这些评估视角提醒读者，类增量学习的性能需从遗忘、泛化、精度平衡等多维度衡量，而非单一指标。
未来方向：跨任务特征与知识转移
文章指出，未来类增量学习算法不仅要防止遗忘，还需提高跨任务特征质量和任务间的知识转移，尤其在任务数据有限时。这一观点基于对重放策略的深入分析，强调了特征表示的重要性。同时，预训练模型和合成数据（如稳定扩散模型）的引入为提升泛化提供了新思路。读者可关注如何平衡新旧知识、利用未标记数据，以及设计更有效的正则化方法，这些将是推动该领域发展的关键。
Q&A
类增量学习的主要挑战是什么？
类增量学习的主要挑战是经典遗忘现象，即在学习新任务时，模型可能会遗忘之前学习的任务。
YONO方法是如何提高类增量学习性能的？
YONO方法通过压缩原型回放来提高性能，表现优于传统的示例回放方法。
LwPK方法如何增强模型的泛化能力？
LwPK方法通过引入未标记数据进行聚类，生成伪标签，并与标记样本联合训练，从而增强模型的泛化能力。
预训练模型在类增量学习中有什么作用？
预训练模型作为额外数据源，可以提高现有类增量学习方法的性能，增强模型的泛化能力。
YONO +方法与YONO方法有什么区别？
YONO +方法通过在表示空间中每个原型的邻域随机采样来创建合成回放数据，进一步改善了性能。
如何解决类增量学习中的灾难性遗忘问题？
可以通过使用简单组件和损失函数组合、引入正则化程序以及采用LwPK方法来解决灾难性遗忘问题。
