该文综述灾难性遗忘研究,指出过参数化可缓解遗忘,深层网络是遗忘主因,任务相似度与遗忘相关;师生框架表明输入分布差异大、目标关系相似时不易遗忘,并存在超调现象;提出NTK重叠矩阵、正交梯度下降、硬注意掩码等方法,实验验证有效。
完成下面两步后,将自动完成登录并继续当前操作。