Exploring the Forgetting Problem in Pre-training of Large Language Models

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究系统探讨了大型语言模型预训练中的灾难性遗忘问题,提出了新的评估指标以检测实体记忆保留,并探讨了低成本的减轻遗忘方法,为未来研究提供了重要参考。

🏷️

标签

➡️

继续阅读