具有结构正则化的持续学习中的记忆-统计折衷

本文研究了在明确定义的随机设计下，持续学习中两个线性回归任务的统计性能，重点解决了灾难性遗忘问题。我们提出了一种结构正则化算法，通过对前一个任务的Hessian进行广义$\ell_2$正则化，揭示了记忆复杂性与统计效率之间的基本折衷关系。研究结果表明，结构正则化可以显著减轻灾难性遗忘，并与同时访问两个任务的联合训练表现相当。