SEEKR：基于选择性注意力的知识保留方法用于大语言模型的持续学习

该研究旨在解决持续学习中大语言模型的知识遗忘问题，现有方法未能充分利用之前任务中的知识。文章提出了一种选择性注意力引导的知识保留方法SEEKR，通过关注选定的注意力头实现数据高效重放式持续学习，实验结果表明SEEKR在性能和效率上优于现有方法，且在重放数据量大幅减少的情况下仍能保持相当甚至更好的性能。