本文综述了连续学习中缓解灾难性遗忘的多种方法，包括类梯度投影、梯度语义补偿、缩放梯度投影、信任区域梯度投影、正交梯度下降、知识蒸馏、正交低秩适应及在线聚类，并在图像分类、语义分割和大语言模型等任务上验证了有效性。

本文综述多任务学习中的梯度冲突问题，提出将任务梯度投影到冲突梯度法平面以消除干扰，从而提升效率与性能。同时涉及模型EMA缩放规则、优化器Omega、在线交替最小化、度量学习梯度分解、梯度手术缓解域偏移、对比学习多目标优化、双层优化转极小极大、隐式偏差正则化及GSAM泛化改进等方法。