Stable Training Methods for Parallel Continual Learning
内容提要
本文探讨了动态多目标优化中的连续学习方法，提出了弹性多梯度下降（EMGD）和小型持续学习者合作模型（CoSCL），以提升模型的泛化能力和记忆稳定性。同时，研究了数据集偏差对知识迁移的影响，并提出了TF-CL和SparCL等新框架和算法，以优化学习效率和性能。
延伸解读
方法概览：从梯度调整到稀疏训练
文章汇总了多种连续学习技术，核心思路可分为三类：一是通过梯度调整（如EMGD、Adam-NSCL）平衡新旧任务；二是通过架构设计（如CoSCL）隔离任务干扰；三是通过稀疏化（如SparCL、DST）提升效率。这些方法从不同角度应对灾难性遗忘，但均需在稳定性与可塑性之间权衡。
数据集偏差的传递与缓解
文章指出，标准连续学习方法会将数据集偏差从一个任务传递到后续任务，导致知识迁移出现偏差累积。为此提出的Group-class Balanced Greedy Sampling（BGS）插件，通过平衡组别和类别的采样策略，有效阻断了偏差传递。这一发现提醒我们，在非均衡数据流中，连续学习需额外关注偏差传播问题。
稀疏训练中的初始化与稀疏度权衡
针对动态稀疏训练（DST）在连续学习中的配置，实证研究发现：低稀疏度下，Erdos-Renyi Kernel（ERK）初始化能更有效利用主干网络；高稀疏度下，均匀初始化则更稳健。增长策略的效果依赖于初始化方式和稀疏度水平。这表明，稀疏连续学习没有通用最优配置，需根据资源约束和任务特性调整。
理论进展与实用框架
文章涵盖了连续学习的理论分析，如非凸连续学习的适应性步长方法，能达到与SGD相同的收敛速度，并减轻灾难性遗忘。同时，实用框架如TF-CL通过注入对抗扰动和记忆管理提升性能，spWC通过评估旧任务的判别贡献实现鲁棒学习。这些工作表明，连续学习正从经验方法走向理论指导与工程优化并重。
Q&A
什么是弹性多梯度下降（EMGD）？
弹性多梯度下降（EMGD）是一种通过引入任务特定的弹性因子来调整下降方向的方法，旨在最小化对先前学习任务的负面影响。
小型持续学习者合作模型（CoSCL）有什么优势？
小型持续学习者合作模型（CoSCL）使用独立的子网络学习所有任务，从而提高模型的泛化能力和记忆稳定性。
TF-CL框架是如何提高学习性能的？
TF-CL框架通过注入敌对扰动和采用记忆管理方案与学习率调度来提高学习性能。
数据集偏差对知识迁移的影响是什么？
数据集偏差会导致知识从一个任务传递到另一个任务，影响模型的学习效果。
Sparse Continual Learning（SparCL）框架的特点是什么？
SparCL框架通过权重稀疏性和数据效率实现训练加速，同时保持准确性，适用于资源受限的环境。
Adam-NSCL网络训练算法的优势是什么？
Adam-NSCL算法通过优化网络参数平衡可塑性和稳定性，实验结果显示其性能优越。
