BriefGPT - AI 论文速递
·
通过指令向量进行大规模语言模型精调的可解释性灾难性遗忘
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
研究发现带有LoRA的细调预训练语言模型存在遗忘问题，遗忘量与参数数量和更新步数呈移位幂律增长。无法通过停止或调整参数数量来避免遗忘。这为减轻遗忘问题的细调方案开辟了安全关键方向。
🎯
关键要点
- 研究发现细调预训练语言模型存在遗忘问题。
- 带有LoRA的语言模型在性能和遗忘量之间存在强烈的线性关系。
- 遗忘量随着细调参数数量和更新步数呈现移位幂律增长。
- 无法通过提前停止或调整细调参数数量来避免遗忘问题。
- 研究为未来减轻遗忘问题的细调方案提供了重要的安全关键方向。
➡️
