内容提要
本文讨论指令微调(SFT):预训练模型只会续写,SFT通过提示词损失掩码(label=-100)将优化目标从联合分布转为条件分布P(y|x),避免梯度浪费在用户输入上;多轮对话只对助手回答及EOS计损失,并注意shift-by-1对齐。序列打包需用块对角因果掩码并重置position_ids,防止跨样本注意力污染。文章还梳理FLAN、InstructGPT、Self-Instruct、LIMA、Orca的数据范式演进,指出SFT只调交互格式、难注入新知识,仍需RLHF/DPO。
延伸解读
损失掩码的数学本质:从联合分布到条件分布
文章通过概率链式法则说明,无掩码的全序列损失等价于最小化联合分布 -log P(x,y),而将提示词部分标签设为 -100 后,优化目标严格转化为条件分布 -log P(y|x)。这意味着梯度不再浪费在背诵用户输入上,而是精准聚焦于助手回答。对于长文档或 RAG 场景,提示词占比高,不掩码会导致大部分梯度用于记忆输入,稀释监督信号,甚至诱导模型复述提问。
序列打包的隐藏风险:跨样本注意力污染与修复
序列打包将多条短样本拼成一条长序列以提高算力利用率,但若沿用普通下三角因果掩码,靠后的样本会“偷看”前面无关样本的 KV 缓存,造成跨样本污染,推理时单独请求该样本会因失去幽灵上下文而输出崩坏。文章指出必须使用块对角因果掩码,并按文档边界重置 position_ids,确保每条样本内部的注意力与位置编码和单独推理时一致。
指令数据范式的演进逻辑:质量、规模与推理显式化
从 FLAN 的多任务模板、InstructGPT 的人工高质量标注、Self-Instruct 的合成数据自举,到 LIMA 的千条精选和 Orca 的教师推理轨迹蒸馏,指令数据构建始终在平衡任务覆盖广度、风格示范纯度和推理过程显式化。LIMA 的表面对齐假说提示,基座能力足够时,少量高质量数据即可激活交互格式;而 Orca 则强调蒸馏逐步思考过程,而不仅是最终答案。
SFT 的能力边界:为何仍需 RLHF/DPO
文章明确指出 SFT 主要调整交互格式与响应分布,难以可靠注入新知识,强行用 SFT 微调新事实可能加剧幻觉。同时,最大似然目标只惩罚“不像样本”,无法在多个合理回答间进行偏好排序,也难以精细权衡 helpful 与 harmless。因此,要实现相对排序和长期偏好约束,必须进入 RLHF/DPO 阶段,这正是下一篇的主题。
Q&A
为什么预训练好的基座模型不能直接听懂指令,需要指令微调?
预训练模型学习的是互联网文本的无条件续写分布,即预测任意下一个词。因此即使输入指令,模型也可能续写问题、复读或给出无关内容,而不是直接回答问题。指令微调(SFT)通过提示词损失掩码和多轮对话模板,将优化目标从联合分布转为条件分布P(y|x),使模型学会按指令条件作答。
SFT训练时为什么要把提示词部分的标签设为-100?
将提示词部分标签设为-100(损失掩码)可以避免模型在用户输入上计算损失。从概率论看,这会将优化目标从最小化联合分布 -log P(x,y) 严格转化为条件分布 -log P(y|x)。如果不掩码,在长输入场景(如RAG或多轮对话)中,大部分梯度会浪费在记忆用户输入上,稀释回答部分的监督信号,并可能导致模型复述问题。
多轮对话SFT中,损失掩码和shift-by-1对齐有哪些容易出错的细节?
多轮对话中,必须对所有system和user片段掩码为-100,仅对每轮assistant内容及其末尾的EOS设为激活。两个关键细节:1)必须保留EOS的监督信号,否则模型学不会停止生成;2)注意next-token位移对齐,模型第m-1步的logits负责预测第m个位置(第一个助手token),掩码切片必须与标签位移严格对齐,否则会掩掉第一个回答字或把角色标记算入损失。
序列打包(Sequence Packing)训练时,为什么不能直接用标准因果掩码?如何正确实现?
标准下三角因果掩码允许每个token看到所有之前的token,打包后靠后的样本会看到前面无关样本的KV缓存,造成跨样本注意力污染,导致推理时单独请求该样本时输出崩坏。正确做法是使用块对角因果掩码,仅允许同一文档内的token相互注意,并按文档边界重置position_ids(如[0,1,2,0,1,2]),确保相对位置与单独推理一致。工业框架中可通过传入cu_seqlens实现变长注意力,避免物化大矩阵。
指令微调的数据集构建经历了哪些主要范式?各自有什么特点?
主要范式包括:1)FLAN(2022):将62个NLP数据集改写成指令模板,证明多任务指令混合可提升零样本泛化;2)InstructGPT(2022):人工编写约13k条高质量提示与回答,作为对齐管线第一步;3)Self-Instruct(2023):用175条种子任务自举生成52k条合成指令,降低标注成本但可能引入噪声;4)LIMA(2023):仅用1k条精选高质量样本,提出表面对齐假说,强调质量与格式一致;5)Orca(2023):用GPT-4生成详细推理轨迹,蒸馏强教师的逐步思考过程。这些范式在任务覆盖广度、风格示范纯度和推理过程显式化之间平衡。
SFT有哪些能力边界?为什么做完SFT还需要RLHF或DPO?
SFT擅长调整交互格式和响应风格,但难以可靠注入新知识,强行用SFT微调新事实可能加剧幻觉。此外,SFT的最大似然目标只惩罚“不像样本”,无法刻画多个合理回答之间的偏好排序,也难以在有用性和安全性之间做精细权衡。因此需要RLHF或DPO等基于人类反馈的强化学习方法,引入相对排序和长期偏好约束。