该文综述灾难性遗忘研究，指出过参数化可缓解遗忘，深层网络是遗忘主因，任务相似度与遗忘相关；师生框架表明输入分布差异大、目标关系相似时不易遗忘，并存在超调现象；提出NTK重叠矩阵、正交梯度下降、硬注意掩码等方法，实验验证有效。

本论文提出了一种新的多层次多语种知识蒸馏方法（MMKD），利用英语BERT的语义表征知识和师生框架，提高预先训练的多语种语言模型的性能。实验证明，MMKD在评价任务中表现更好，并在低资源语言上获得显著的性能提升。