GPT-3在自然语言处理上取得了重大突破，但未能有效转化为助手。为此，OpenAI推出了InstructGPT，通过人类反馈训练模型更好地遵循指令，强调模型的对齐和实用性比规模更重要，推动了现代AI的发展，最终形成了更具人性化的对话系统如ChatGPT。

本文讨论了通过人类反馈微调语言模型（如InstructGPT）以更好地理解用户意图。研究表明，这种微调显著提高了模型输出的质量和安全性，减少了虚假和有毒内容的生成。尽管InstructGPT在某些任务上不如GPT-3，但其遵循指令的能力更强，更符合用户期望。

OpenAI的InstructGPT通过RLHF微调GPT-3：先由人工编写提示并示范回答进行监督微调，再让人工比较模型输出以训练奖励模型，最后用PPO按奖励优化。1.3B参数的InstructGPT输出优于175B的GPT-3，更符合人类偏好、更能遵循指令，但仍可能编造事实或给出不当回答。