通过可学习漂移补偿进行无示例持续表示学习

💡 原文中文,约1400字,阅读约需4分钟。
📝

内容提要

本文介绍了一种新型增量学习方法,通过对抗性扰动估计特征漂移,避免灾难性遗忘。该方法在多个基准测试中表现优异,能够自然地加入新类别并保持旧类别的表示,显著提高了模型的准确性和稳定性。

🔎

延伸解读

对抗扰动如何估计特征漂移

文章提出通过对当前样本施加对抗性扰动,使其在嵌入空间中接近旧模型的旧类别原型,从而估计无示例方法中的特征漂移。这一机制不依赖保留旧样本,而是利用扰动引导样本嵌入向旧原型靠拢,间接量化特征偏移,为原型补偿提供依据。

两阶段框架与原型分类器更新

该方法采用两阶段学习框架:固定编码器以稳定特征提取,逐步更新原型分类器以适应新类别。固定编码器避免了因参数更新导致的旧特征扭曲,而原型分类器的渐进更新则使模型能自然加入新类别,无需增加新权重,从而在稳定性和可塑性间取得平衡。

性能提升与实验验证

在CIFAR-100和ImageNet100等基准上,该方法在每类保留5个示例、10个增量阶段的设置下,分别比最先进的范例基于方法提高了18.24%和9.37%。实验表明,通过补偿特征漂移,模型能更好地追踪原型移动,显著减少遗忘,并在细粒度数据集上同样有效。

❓

Q&A

什么是增量学习中的灾难性遗忘?

灾难性遗忘是指在增量学习中,模型在学习新类别时,旧类别的知识被遗忘或丧失的现象。

该方法如何避免灾难性遗忘?

该方法通过对抗性扰动估计特征漂移,保持旧类别的表示,从而避免灾难性遗忘。

新方法在基准测试中的表现如何?

该方法在多个基准测试中表现优异,显著提高了模型的准确性和稳定性。

该增量学习方法的学习框架是什么?

该方法采用两阶段学习框架,包括固定编码器和逐步更新的原型分类器。

如何在新类别中自然加入新信息?

该方法使用嵌入网络,能够自然地加入新类别而无需添加新的权重。

该方法在保留旧类别样本方面有什么优势?

该方法不依赖于保留的旧类别样本,能够在保留每类少量示例的情况下显著提高性能。

🏷️

标签

➡️

继续阅读