Learning Incremental Few-Shot Classification with Distribution-Based Feature Replay
内容提要
该文综述少样本类增量学习（FSCIL）进展，将方法分为传统机器学习、元学习、特征空间、重放和动态网络五类，介绍其在视觉、语言处理等领域的应用与未来方向。多项研究利用CLIP泛化能力、冗余特征消除、语义蒸馏、超维嵌入和分离学习分类器等方法，在CIFAR100、miniImageNet、CUB200等基准上显著提升性能，减少参数与训练成本，缓解灾难性遗忘和过拟合。
延伸解读
方法分类的实用价值
文章将FSCIL方法划分为传统机器学习、元学习、特征空间、重放和动态网络五类，这一划分有助于读者快速定位不同技术路线。例如，重放方法关注旧数据存储与隐私问题，特征空间方法侧重表示学习，动态网络则调整结构。理解分类逻辑后，读者可根据自身场景（如存储受限或隐私敏感）初步筛选合适方向，而非盲目追随单一指标。
CLIP与参数效率的权衡
CPE-CLIP利用CLIP预训练知识提升FSCIL性能，同时显著减少可学习参数和训练成本。这提示读者：借助大规模预训练模型可能缓解少样本下的过拟合与遗忘，但需注意其依赖预训练数据分布，且参数高效不等于零成本。实际应用中应评估预训练模型与目标领域的匹配度，并关注微调策略对增量会话稳定性的影响。
基准数据集的代表性局限
文中多次在CIFAR100、miniImageNet、CUB200等基准上验证方法，这些数据集覆盖通用物体与细粒度分类，但未必反映真实场景的复杂变化。读者需留意：在基准上的领先性能不一定直接迁移到开放环境，尤其当新类别分布偏移较大或数据实时性差时。未来研究需更贴近实际应用的评估协议，而非仅追求基准分数。
灾难性遗忘的缓解思路
文章提及多种缓解遗忘的策略，如冗余特征消除、语义蒸馏、分离学习分类器等。这些方法从不同角度切入：有的减少特征冗余，有的对齐视觉与语义信息，有的仅更新分类器以保护表示。读者可从中看出，遗忘问题需多层面协同解决，单一技术难以根治。实际部署时，应结合任务特性选择组合策略，并关注过拟合与欠拟合的平衡。
Q&A
少样本类增量学习（FSCIL）主要面临哪些挑战？
FSCIL 面临的主要挑战包括：数据实时性差、灾难性遗忘（忘记之前学习的内容）、过拟合，以及在新任务欠拟合与遗忘旧任务之间难以平衡。
FSCIL 方法通常被分为哪几类？
根据一篇综述，FSCIL 方法被划分为五个子领域：传统机器学习方法、元学习方法、特征和特征空间方法、重放方法和动态网络结构方法。
CPE-CLIP 方法如何提升少样本类增量学习的性能？
CPE-CLIP 利用 CLIP 预训练阶段获取的丰富知识和泛化能力实现类别学习，相比现有方法显著提高了 FSCIL 性能，同时大大减少了可学习参数和训练成本。
有哪些方法被提出用于缓解FSCIL中的灾难性遗忘？
多种方法被提出：引入 Redundant Feature Eliminator (RFE) 和 Spatial Noise Compensator (SNC) 组件减轻遗忘；使用基于语义信息的蒸馏算法并利用注意力机制对齐视觉和语义向量；采用分离学习策略的持续演化分类器（CEC）框架，每个增量会话只更新分类器以避免表示的知识遗忘。
FSCIL 在哪些应用领域有所涉及？
FSCIL 在计算机视觉、自然语言处理和图像处理等多个方面都有应用。
C-FSCIL 架构有什么特点？
C-FSCIL 利用超维嵌入，对每个新类别采用异构存储策略来解决记忆约束，并通过新的损失函数提高类向量表示的质量。在 CIFAR100、miniImageNet 和 Omniglot 数据集上，它能在几乎不牺牲精度的情况下实现很高的压缩比。
FSCIL 研究中常用的基准数据集有哪些？
常用的基准数据集包括 CIFAR100、miniImageNet、CUB200 和 Omniglot 等。
