研究人员发现大型语言模型在复杂多样的特定领域下进行微调时,推理性能会显著降低,称为灾难性遗忘问题。他们提出了I-LoRA方法,通过参数插值构建双记忆经验回放框架,解决了这个问题。实验结果显示,I-LoRA在连续学习基准测试中比之前的方法提高了11%的性能。
完成下面两步后,将自动完成登录并继续当前操作。