Apple Machine Learning Research ·

通过蒸馏实现记忆保留微调

💡 原文英文，约500词，阅读约需2分钟。

📝

内容提要

本文介绍了一种名为标签退火的方法，用于在微调大型语言模型时减少知识遗忘。该方法通过在损失函数中添加KL散度项，帮助模型在微调过程中保留预训练知识，提升数学和编码领域的表现，同时保持其他能力。标签退火在对齐微调中实现了指令遵循能力与预训练知识之间的平衡。

🎯

🔎

标签退火通过在损失函数中引入KL散度项，有效地减少了大型语言模型在微调过程中的知识遗忘。这一方法不仅能保留预训练阶段的知识，还能在数学和编码领域提升模型表现，显示出其在特定任务中的实用性。

在对齐微调中，模型需要在遵循用户指令与保留预训练知识之间找到平衡。标签退火提供了一种平滑的权衡机制，使得模型在执行指令时仍能保持其原有的知识能力，这对于提升用户体验至关重要。

当前许多开源大型语言模型的预训练数据并不公开，这使得在微调时难以结合原始数据。标签退火方法的提出，解决了这一问题，使得在没有原始数据的情况下，仍能有效进行知识保留，具有重要的应用价值。

❓

标签退火是一种在微调大型语言模型时减少知识遗忘的方法。

标签退火通过在损失函数中添加KL散度项，帮助模型保留预训练知识。

标签退火在数学和编码领域的微调中提升了模型表现，同时保持其他能力。

在对齐微调中，标签退火实现了指令遵循能力与预训练知识之间的平衡。

标签退火可以在不需要访问原始预训练数据的情况下，减少微调过程中的知识遗忘。

标签退火的研究中使用了一个过参数化的线性回归数学模型，提供了几何直观。

🏷️