深入剖析语言模型微调中的遗忘现象：基于示例关联的统计分析
内容提要
本文探讨了大型语言模型（LLMs）在微调过程中的遗忘问题及其影响。研究提出了可解释的预测模型和新的微调策略，以减少遗忘现象。实验表明，通过回放被遗忘的示例和引入取消学习框架，这些方法在多个NLP任务中显著提高了性能，确保了模型的安全性和隐私保护。
延伸解读
遗忘预测的模型差异
文章提出了一种基于预训练示例前softmax对数几率分数变化与在线学习示例相似性的部分可解释预测模型，用于预测微调中将被遗忘的上游示例。该模型在BART上表现良好，但在T5上失败，表明遗忘预测可能依赖于模型架构。后续基于示例表示内积的黑盒分类器在多种设置下预测性能更优，且通过回放预测将被遗忘的示例，减少了上游预训练示例的遗忘，证明了预测的实际效用。
LoRA微调的遗忘缩放规律
研究发现，参数高效的微调策略（如LoRA）仍存在灾难性遗忘，且LoRA微调中性能与遗忘量之间存在强烈的线性关系。遗忘量随微调参数数量和更新步数呈现移位幂律增长，并给出了精确的缩放规律。研究还考察了遗忘对知识、推理及Llama 2 7B聊天机器人安全保障的影响，表明无法通过提前停止或调整微调参数数量来避免遗忘，这为未来评估和开发减轻遗忘的微调方案指明了安全关键方向。
缓解遗忘的多种策略
文章提及了多种缓解遗忘的方法：召回和学习机制通过多任务学习联合预训练和下游任务，在GLUE基准上达到最新性能；F-Learning通过参数算术实现旧知识遗忘和新知识学习，在完全精调和LoRA精调中改善知识更新；高效的取消学习框架引入轻量级取消学习层，无需重新训练即可更新模型，解决隐私问题。这些策略从不同角度应对遗忘，但各有其适用场景和限制。
Q&A
语言模型微调中的遗忘现象是什么？
语言模型微调中的遗忘现象指的是在模型更新过程中，模型对之前学习的知识或示例的遗忘，导致性能下降。
如何减少语言模型的遗忘现象？
可以通过回放被预测将被遗忘的示例和引入取消学习框架来减少遗忘现象。
细调带有Low-Rank Adapters的语言模型有什么特点？
细调带有Low-Rank Adapters的语言模型在性能和遗忘量之间存在强烈的线性关系，表现出灾难性遗忘问题。
提前停止细调能否避免遗忘问题？
研究表明，无法通过提前停止或调整细调参数数量来避免遗忘问题。
什么是召回和学习机制？
召回和学习机制是一种通过多任务学习来减少遗忘的方法，先回忆预训练任务的知识，再关注下游任务的学习。
如何确保大型语言模型的用户数据隐私？
可以通过引入高效的取消学习框架，结合轻量级的取消学习层，来有效更新模型以解决用户数据隐私问题。
