![[译][论文] InstructGPT：基于人类反馈训练语言模型遵从指令的能力（OpenAI，2022）](https://arthurchiao.github.io/assets/img/instructgpt-paper/fig-2.png)
ARTHURCHIAO'S BLOG
·
[译][论文] InstructGPT：基于人类反馈训练语言模型遵从指令的能力（OpenAI，2022）
💡
原文中文，约28500字，阅读约需68分钟。
📝
内容提要
本文讨论了通过人类反馈微调语言模型（如InstructGPT）以更好地理解用户意图。研究表明，这种微调显著提高了模型输出的质量和安全性，减少了虚假和有毒内容的生成。尽管InstructGPT在某些任务上不如GPT-3，但其遵循指令的能力更强，更符合用户期望。
🎯
关键要点
- 通过人类反馈微调语言模型（如InstructGPT）可以更好地理解用户意图。
- 这种微调显著提高了模型输出的质量和安全性，减少了虚假和有毒内容的生成。
- 尽管InstructGPT在某些任务上不如GPT-3，但其遵循指令的能力更强，更符合用户期望。
- InstructGPT的训练过程包括三个步骤：收集示例数据、训练监督策略和使用奖励模型进行优化。
- InstructGPT在TruthfulQA基准测试中生成真实和信息丰富的答案的概率比GPT-3高约一倍。
- 在某些公开NLP数据集上，InstructGPT相比GPT-3存在性能下降，这是对齐过程中的一个“对齐税”。
- InstructGPT能够推广到未参与编写训练数据的标注员，显示出良好的泛化能力。
- 使用人类偏好微调大语言模型可以显著改善它们在各种任务上的行为，但仍需更多工作提高安全性和可靠性。
❓
延伸问答
InstructGPT是如何通过人类反馈进行微调的？
InstructGPT通过三个步骤进行微调：收集示例数据、训练监督策略和使用奖励模型进行优化。
InstructGPT与GPT-3相比有哪些优势？
InstructGPT在遵循指令的能力上更强，生成的输出更符合用户期望，且在TruthfulQA基准测试中生成真实和信息丰富的答案的概率比GPT-3高约一倍。
使用人类反馈微调语言模型的好处是什么？
这种微调显著提高了模型输出的质量和安全性，减少了虚假和有毒内容的生成。
InstructGPT在某些任务上表现不佳的原因是什么？
在某些公开NLP数据集上，InstructGPT相比GPT-3存在性能下降，这是对齐过程中的一个“对齐税”。
InstructGPT的泛化能力如何？
InstructGPT能够推广到未参与编写训练数据的标注员，显示出良好的泛化能力。
InstructGPT在生成有毒内容方面的表现如何？
当提示模型需要尊重时，InstructGPT生成的有毒输出比GPT-3少约25%。
➡️
