BriefGPT - AI 论文速递
·
微调强化学习模型其实是一种遗忘缓解问题
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
研究发现带有LoRA的细调预训练语言模型存在遗忘问题，遗忘量与参数数量和更新步数呈移位幂律增长。无法通过停止或调整参数数量来避免遗忘。这为减轻遗忘问题的细调方案提供了重要方向。
🎯
关键要点
- 研究发现细调预训练语言模型存在遗忘问题。
- 遗忘量与参数数量和更新步数呈移位幂律增长。
- 细调带有LoRA的语言模型在性能和遗忘量之间存在强烈的线性关系。
- 无法通过提前停止或调整参数数量来避免遗忘问题。
- 研究为减轻遗忘问题的细调方案提供了重要方向。
➡️
