基于Concept-1K实验，揭示了数十亿参数的预训练语言模型仍然受到灾难性遗忘的影响，遗忘受模型规模、预训练和缓冲区大小的影响。现有的增量学习方法和LoRA微调技术无法达到令人满意的性能。这项研究为进一步探索预训练语言模型的灾难性遗忘提供了新的研究场景，鼓励设计更强大的技术来缓解预训练语言模型的遗忘问题。