InstructGPT 浅析
内容提要
OpenAI的InstructGPT通过RLHF微调GPT-3：先由人工编写提示并示范回答进行监督微调，再让人工比较模型输出以训练奖励模型，最后用PPO按奖励优化。1.3B参数的InstructGPT输出优于175B的GPT-3，更符合人类偏好、更能遵循指令，但仍可能编造事实或给出不当回答。
延伸解读
小模型胜大模型的关键：对齐人类偏好
文章指出，1.3B 参数的 InstructGPT 输出优于 175B 的 GPT-3，参数少了 100 多倍。这并非模型能力本身更强，而是通过 RLHF 将优化目标从“预测下一个词”转向“符合人类偏好”。对于读者而言，这意味着在资源有限时，对齐训练可能比单纯扩大参数规模更具性价比，也解释了为何后续 ChatGPT 选择基于 InstructGPT 方案。
RLHF 三阶段流程的工程细节
文章详细拆解了 RLHF 的三个步骤：先由标注者编写提示并示范回答进行监督微调；再让标注者比较模型输出训练奖励模型；最后用 PPO 按奖励优化，并混入预训练梯度（PPO-ptx）以缓解其他 NLP 任务性能退化。值得注意的是，奖励模型仅用 6B 参数，因为 175B 训练不稳定。这些细节说明 RLHF 并非简单调参，而是涉及数据、模型和训练策略的系统工程。
评估依赖人类偏好，但存在局限
文章提到，主要评估指标是标注者的偏好评级，但标注者并非生成提示的真实用户，其判断的意图可能与用户实际意图有差异。此外，诚实性难以直接衡量，只能通过封闭域编造倾向和 TruthfulQA 等代理指标评估。这提醒读者，InstructGPT 的“更符合人类偏好”是在特定标注框架下的结论，实际部署中仍需关注意图错位和评估盲区。
对齐人类价值观的挑战与改进方向
文章指出，RLHF 使模型对齐人类偏好，但标注者自身的价值观、信仰等会影响标注中立性，如何获得中立数据、定义“绝大多数用户偏好”仍是难题。同时，模型仍可能编造事实，作者认为让模型学会说“没有答案”是一个值得探索的方向。这些讨论表明，RLHF 虽有效，但安全性和可靠性仍需持续改进，而非一劳永逸。
Q&A
InstructGPT 和 GPT-3 的主要区别是什么？
InstructGPT 通过 RLHF 微调 GPT-3，使其更符合人类偏好、更能遵循指令；而 GPT-3 是基于上下文的生成模型，常生成与用户期望不一致的输出。例如，1.3B 参数的 InstructGPT 输出优于 175B 的 GPT-3。
InstructGPT 的训练流程分为哪几步？
分为三步：1) 人工编写提示并示范回答，进行监督微调；2) 人工比较模型输出，训练奖励模型；3) 使用 PPO 按奖励模型打分优化模型。
RLHF 中的奖励模型是如何训练的？
奖励模型以 SFT 模型为基础（移除最终反嵌入层），接收提示和响应并输出标量奖励。训练数据由人工对同一输入的两个模型输出进行比较，使用交叉熵损失，奖励差异代表人类偏好的对数几率。
InstructGPT 在遵循指令方面有哪些泛化能力？
InstructGPT 能够遵循指令回答代码相关问题，有时还能遵循不同语言的指令，尽管这些指令在微调中非常罕见。这表明模型能够理解“遵循指令”的概念。
InstructGPT 还存在哪些局限性？
InstructGPT 仍可能无法遵循指令、编造虚假事实、对简单问题给出冗长答案，或无法检测带有错误前提的指令。
为什么使用人类偏好作为训练目标？
对于复杂 NLP 任务，自动化指标（如 ROUGE、BLEU）无法准确评估生成质量，且过度模仿数据集可能引入有害内容。人类偏好能更直接地反映“好摘要”等目标，避免模型学习互联网上的不良信息。
