冷启动免示例增量学习的弹性特征整合
内容提要
该文综述课程增量学习进展，提出各向异性马氏距离建模特征协方差，优于欧氏距离，在少样本及域增量场景达最优；并汇总CEC、eTag、C-FSCIL、ICE等免回放方法，通过分离学习、嵌入蒸馏、超维嵌入缓解遗忘，提升稳定性与可塑性。
延伸解读
各向异性马氏距离为何优于欧氏距离
文章指出，在课程增量学习中，冻结特征提取器常基于欧氏距离生成类原型，但欧氏距离在非静态数据上表现亚优，因为特征分布异质。作者重新引入各向异性马氏距离，通过建模特征协方差关系来适应这种异质性。经验证明，该方法优于从正态分布采样特征并训练线性分类器的先前方法，且在多样本、少样本课程增量学习及域增量学习设置中广泛适用。
免回放方法如何缓解灾难性遗忘
文章汇总了多种免回放增量学习方法，包括CEC、eTag、C-FSCIL和ICE等。这些方法通过分离学习、嵌入蒸馏、超维嵌入等策略，在不存储旧样本的情况下缓解遗忘。例如，CEC仅更新分类器以避免表示遗忘；eTag利用嵌入蒸馏和任务导向生成；C-FSCIL采用超维嵌入和异构存储。它们共同提升了稳定性和可塑性的平衡，并在多个基准上取得优异结果。
方法适用性与实验表现
文章强调，所提方法在不更新主干网络的情况下，在多个标准连续学习基准上取得了最先进的结果。其适用性覆盖多样本和少样本课程增量学习以及域增量学习。此外，汇总的方法在CIFAR-100、miniImageNet、CUB-200等数据集上表现出色，例如C-FSCIL在几乎不牺牲精度的情况下实现高压缩比，ICE-O在多个任务上持续改进。这些结果支持了免回放方法在资源受限场景下的潜力。
Q&A
课程增量学习中，为什么欧氏距离分类效果不理想？
因为欧氏距离在非静态数据学习时表现亚优，且特征分布异质，无法很好地建模特征协方差关系。
各向异性马氏距离在课程增量学习中有哪些优势？
各向异性马氏距离能建模特征协方差关系，优于从正态分布中采样特征和训练线性分类器的先前方法，在多样本、少样本课程增量学习及域增量学习设置上具有广泛适用性，且在不更新主干网络的情况下，在多个标准连续学习基准上取得了最先进的结果。
有哪些免回放的类增量学习方法可以缓解遗忘？
包括CEC（基于分离学习策略的持续演化分类器）、eTag（通过嵌入蒸馏和面向任务的生成）、C-FSCIL（利用超维嵌入和异构存储策略）、ICE（个体分类器与冻结特征提取器框架）等，这些方法无需存储旧样本即可增量训练，缓解遗忘。
CEC框架是如何工作的？
CEC框架在每个增量会话中只更新分类器，避免表示的知识遗忘，并采用伪增量学习方法优化图参数来构建持续的上下文信息传递网络，以解决少样本类别增量学习的课程先决问题。
eTag方法如何实现无需存储样本的增量学习？
eTag通过嵌入蒸馏和面向任务的生成，无需存储样本或原型即可增量训练神经网络，从而解决类增量学习中的遗忘问题。
C-FSCIL架构有什么特点？
C-FSCIL利用超维嵌入，对每个新类别进行异构存储策略，解决记忆约束，并通过新的损失函数提高类向量表示质量，在几乎不牺牲精度的情况下实现高压缩比。
