BriefGPT - AI 论文速递
·
通过自蒸馏减少在线类别增量学习中的灾难性遗忘
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本文提出了一个因果框架，解释了类增量学习中的灾难性遗忘的原因，并提出了一种新的蒸馏方法，该方法能够显著提高目前各类增量学习方法的性能。
🎯
关键要点
- 提出了一个因果框架，解释类增量学习中的灾难性遗忘原因。
- 提出了一种新的蒸馏方法，与现有抗遗忘技术正交。
- 发现特征/标签蒸馏存储效率高，但因果效应与端到端特征学习优点不符。
- 数据回放能够保留因果效应，建议使用基于Colliding Effect的因果蒸馏方法。
- 该方法在不损失回放存储的情况下缓解类增量学习中的遗忘效应。
- 实验结果表明该方法显著提高了各类增量学习方法的性能。
➡️
