任务相似性和过度参数化对灾难性遗忘的联合影响 -- 一种分析模型
内容提要
该文综述灾难性遗忘研究，指出过参数化可缓解遗忘，深层网络是遗忘主因，任务相似度与遗忘相关；师生框架表明输入分布差异大、目标关系相似时不易遗忘，并存在超调现象；提出NTK重叠矩阵、正交梯度下降、硬注意掩码等方法，实验验证有效。
延伸解读
过参数化与深层网络：缓解遗忘的双重角色
文章指出，过参数化能在一定程度上改善连续学习中的遗忘问题，而深层网络则是导致遗忘的主要因素。这意味着模型容量并非越小越好，适当增加参数可能有助于保留旧任务知识。但深层结构本身会加剧遗忘，因此在实际设计中需权衡深度与宽度，或结合稳定深层网络的方法来平衡学习与记忆。
任务相似性：输入分布与目标关系的复杂作用
师生框架研究表明，当输入分布相似性小、目标函数的输入输出关系相似性大时，能有效避免灾难性遗忘。这提示任务间的相似性不能一概而论，需区分输入层面和输出关系层面。此外，任务相似性在中间层与特征层之间存在复杂相互作用，会影响遗忘转移率，因此设计持续学习算法时应细致考虑任务间的多维相似性。
实用方法：从NTK重叠矩阵到硬注意掩码
文章介绍了多种减轻灾难性遗忘的方法，包括NTK重叠矩阵作为任务相似度度量、基于主成分分析的正交梯度下降算法，以及基于任务的硬注意机制。实验表明这些方法能有效缓解遗忘，且硬注意掩码对超参数选择具有鲁棒性，并能控制知识稳定性和紧凑性。这些方法为持续学习场景提供了可操作的技术路径。
任务序列属性：总复杂度与顺序异质性的影响
研究发现，任务序列的总复杂度与错误率强烈正相关，而顺序异质性在某些情况下与错误率无关联甚至负相关。这一反直觉的结论表明，并非所有任务序列属性都会同等影响遗忘。在设计和评估持续学习算法时，应关注任务序列的总复杂度，而非仅关注顺序异质性，这为改进基准和方法提供了方向。
Q&A
过参数化如何影响神经网络的灾难性遗忘？
过参数化可以在一定程度上改善神经网络模型在连续学习中遗忘前任务的性能表现。
为什么深层网络更容易导致灾难性遗忘？
研究发现深层网络是导致遗忘的主要因素，并介绍了稳定深层网络的方法。
任务相似度如何影响灾难性遗忘？
任务相似度与遗忘程度具有相关性。在师生框架下，输入分布相似性小和目标函数的输入输出关系相似性大时，可以有效避免灾难性遗忘。
什么是超调现象？
超调现象是在师生学习理论框架分析连续学习时发现的一种特征现象，当输入分布相似性小和目标函数关系相似性大时，可以有效避免灾难性遗忘，并揭示超调现象。
有哪些方法可以减轻灾难性遗忘？
提出了NTK重叠矩阵、基于主成分分析的正交梯度下降算法、基于任务的硬注意机制等方法，实验证明这些方法能有效减轻灾难性遗忘。
任务序列的哪些属性会影响持续学习算法的错误率？
任务序列的总复杂度和顺序异质性会影响错误率。错误率与总复杂度强烈正相关；在某些情况下，错误率与顺序异质性没有或甚至具有负相关性。
