探索大型语言模型预训练中的遗忘问题

本研究系统探讨了大型语言模型预训练中的灾难性遗忘问题，提出了新的评估指标以检测实体记忆保留，并探讨了低成本的减轻遗忘方法，为未来研究提供了重要参考。