参数高效调整中的分析与降低灾难性遗忘

BriefGPT - AI 论文速递 · 2024-02-29T00:00:00Z

研究人员发现大型语言模型在复杂多样的特定领域下进行微调时，推理性能会显著降低，称为灾难性遗忘问题。他们提出了I-LoRA方法，通过参数插值构建双记忆经验回放框架，解决了这个问题。实验结果显示，I-LoRA在连续学习基准测试中比之前的方法提高了11%的性能。