梯度相关子空间学习对抗灾难性遗忘
内容提要
本文综述了连续学习中缓解灾难性遗忘的多种方法，包括类梯度投影、梯度语义补偿、缩放梯度投影、信任区域梯度投影、正交梯度下降、知识蒸馏、正交低秩适应及在线聚类，并在图像分类、语义分割和大语言模型等任务上验证了有效性。
延伸解读
梯度子空间方法的共同思路
文中提到的类梯度投影、缩放梯度投影、正交梯度下降等方法，都围绕梯度子空间展开。核心思路是利用旧任务或旧类别的梯度信息构造子空间，将新任务的梯度更新投影或约束在该子空间内，从而减少对旧知识的干扰。这类方法不依赖存储原始数据，在连续学习场景中具有较好的实用性。
语义分割中的遗忘与背景转移
GSC模型针对增量语义分割，同时处理灾难性遗忘和背景转移两个问题。它通过重新加权梯度反向传播来平衡旧类别的遗忘速度，并利用软锐语义关系蒸馏减轻语义层面的遗忘。原型伪重新标签则提供语义引导以缓解背景转移。在Pascal VOC 2012、ADE20K和Cityscapes上的实验验证了其有效性。
知识蒸馏与低秩适应的补充作用
除了梯度投影，文章还综述了知识蒸馏和正交低秩适应（O-LoRA）等方法。知识蒸馏通过建模神经网络潜在或输出空间的流形结构来保持旧知识，可应用于分类和分割任务。O-LoRA则面向大语言模型的持续学习，在缓解灾难性遗忘的同时保持新任务泛化能力。这些方法与梯度类方法形成互补。
任务相似度与在线聚类的不同视角
文章还提到基于NTK重叠矩阵的任务相似度度量，以及基于在线聚类的方法。前者从任务关系角度帮助减轻遗忘，后者则被应用于域增量学习。这些方法说明连续学习中的遗忘问题可以从梯度、语义、参数空间和任务关系等多个角度切入，实际应用中可根据任务特点选择或组合。
Q&A
什么是类梯度投影（CGP）？它如何缓解灾难性遗忘？
类梯度投影（CGP）是一种应对连续学习中灾难性遗忘的方法。它利用已有类别的梯度子空间，将梯度更新投影到该子空间，从而减少对其他类别的干扰。此外，通过基础优化和对比学习提高模型处理新任务的能力。
GSC模型如何解决增量语义分割中的灾难性遗忘和背景转移？
GSC模型从梯度和语义角度克服灾难性遗忘和背景转移。它通过重新加权梯度反向传播来平衡先前类别的遗忘速度，提出软锐语义关系蒸馏来减轻语义遗忘，并使用原型伪重新标签方法提供语义引导以减轻背景转移。在Pascal VOC 2012、ADE20K和Cityscapes数据集上验证了有效性。
TRGP持续学习方法是如何工作的？
TRGP是一种持续学习方法，使用信任区域选择最相关的旧任务，通过缩放权重投影重用旧任务的冻结权重，从而实现较高的知识转移效果，解决灾难性遗忘问题。
O-LoRA是什么？它用于解决什么问题？
O-LoRA是一种正交低秩适应方法，用于大型语言模型的持续学习，能够有效缓解灾难性遗忘问题，并在学习新任务时保持良好的泛化能力。
正交梯度下降（OGD）如何帮助减轻灾难性遗忘？
正交梯度下降（OGD）通过从参数空间角度解决连续学习问题，限制梯度更新方向来避免遗忘之前学习的数据。它更有效地利用神经网络的高容量，且不需要存储先前学习的数据。
知识蒸馏在持续学习中如何应用？
知识蒸馏技术考虑神经网络的潜在/输出空间的流形结构，在学习新任务时将数据流形近似为一阶，并利用线性子空间建模结构以保持知识，从而降低灾难性遗忘。该方法可解决分类和分割问题，在Pascal VOC和Tiny-Imagenet等数据集上优于各种连续学习方法，并可无缝结合现有方法。
