通过可学习漂移补偿进行无示例持续表示学习
原文中文,约1400字,阅读约需4分钟。
📝
内容提要
本文介绍了一种新型增量学习方法,通过对抗性扰动估计特征漂移,避免灾难性遗忘。该方法在多个基准测试中表现优异,能够自然地加入新类别并保持旧类别的表示,显著提高了模型的准确性和稳定性。
🔎
延伸解读
对抗扰动如何估计特征漂移
文章提出通过对当前样本施加对抗性扰动,使其在嵌入空间中接近旧模型的旧类别原型,从而估计无示例方法中的特征漂移。这一机制不依赖保留旧样本,而是利用扰动引导样本嵌入向旧原型靠拢,间接量化特征偏移,为原型补偿提供依据。
两阶段框架与原型分类器更新
该方法采用两阶段学习框架:固定编码器以稳定特征提取,逐步更新原型分类器以适应新类别。固定编码器避免了因参数更新导致的旧特征扭曲,而原型分类器的渐进更新则使模型能自然加入新类别,无需增加新权重,从而在稳定性和可塑性间取得平衡。
性能提升与实验验证
在CIFAR-100和ImageNet100等基准上,该方法在每类保留5个示例、10个增量阶段的设置下,分别比最先进的范例基于方法提高了18.24%和9.37%。实验表明,通过补偿特征漂移,模型能更好地追踪原型移动,显著减少遗忘,并在细粒度数据集上同样有效。
❓
Q&A
什么是增量学习中的灾难性遗忘?
灾难性遗忘是指在增量学习中,模型在学习新类别时,旧类别的知识被遗忘或丧失的现象。
该方法如何避免灾难性遗忘?
该方法通过对抗性扰动估计特征漂移,保持旧类别的表示,从而避免灾难性遗忘。
新方法在基准测试中的表现如何?
该方法在多个基准测试中表现优异,显著提高了模型的准确性和稳定性。
该增量学习方法的学习框架是什么?
该方法采用两阶段学习框架,包括固定编码器和逐步更新的原型分类器。
如何在新类别中自然加入新信息?
该方法使用嵌入网络,能够自然地加入新类别而无需添加新的权重。
该方法在保留旧类别样本方面有什么优势?
该方法不依赖于保留的旧类别样本,能够在保留每类少量示例的情况下显著提高性能。
🏷️