一种有效的动态梯度校准方法用于持续学习
原文中文，约1300字，阅读约需4分钟。
📝
内容提要
本文探讨了连续学习中的收敛性和灾难性遗忘问题，提出了类梯度投影（CGP）和弹性多梯度下降（EMGD）等方法，以提升模型在新任务中的表现并减少对旧任务的负面影响。同时，介绍了基于回放的持续学习策略和自我监督技术，展示了其在不同场景下的有效性和优势。
❓
Q&A
什么是类梯度投影（CGP）方法？
类梯度投影（CGP）方法通过将梯度更新投影到已有类别的子空间，减少其他类别的干扰，从而提高新任务的处理能力。
弹性多梯度下降（EMGD）如何减少灾难性遗忘？
弹性多梯度下降（EMGD）通过引入任务特定的弹性因子，调整下降方向，以最小化对先前学习任务的负面影响。
如何通过回放策略应对灾难性遗忘？
Gradient Coreset Replay作为一种新的回放策略，有效应对灾难性遗忘，并在离线和在线场景中取得显著收益。
持续学习中的灾难性遗忘问题如何解决？
通过有监督对比学习框架和持续校准方法，可以保存少量数据并适应分类准则，从而有效解决灾难性遗忘问题。
什么是Continual Active Learning（CAL）？
Continual Active Learning（CAL）结合现有和新开发的基于回放的多样化技术，有效解决Active Learning中的重新训练和忘记旧数据的问题。
Realistic Continual Learning（RealCL）范式的特点是什么？
Realistic Continual Learning（RealCL）范式中任务之间的类分布是随机的，旨在在保留过去学习的同时整合新知识。
🏷️
