本文介绍了一种名为标签退火的方法，用于在微调大型语言模型时减少知识遗忘。该方法通过在损失函数中添加KL散度项，帮助模型在微调过程中保留预训练知识，提升数学和编码领域的表现，同时保持其他能力。标签退火在对齐微调中实现了指令遵循能力与预训练知识之间的平衡。