本文讨论指令微调(SFT):预训练模型只会续写,SFT通过提示词损失掩码(label=-100)将优化目标从联合分布转为条件分布P(y|x),避免梯度浪费在用户输入上;多轮对话只对助手回答及EOS计损失,并注意shift-by-1对齐。序列打包需用块对角因果掩码并重置position_ids,防止跨样本注意力污染。文章还梳理FLAN、InstructGPT、Self-Instruct、LIMA、Orca的数据范式演进,指出SFT只调交互格式、难注入新知识,仍需RLHF/DPO。
完成下面两步后,将自动完成登录并继续当前操作。