本文探讨了大型语言模型（LLMs）如何通过人类反馈学习，比较了强化学习（RLHF）和直接偏好优化（DPO）两种方法。模型首先通过预训练学习语言和知识，然后通过监督微调学习遵循指令，最后通过比较学习偏好。RLHF通过训练奖励模型并优化，而DPO则简化为单一步骤。两者都依赖于人类判断的信号，但可能导致模型产生迎合性回答。对于可验证的任务，使用可验证奖励可以避免这些问题。

研究表明，强化学习与可验证奖励（RLVR）并未提升大型语言模型（LLMs）的推理能力，而是优化了其采样行为。尽管RLVR训练的模型在单次回答中表现更佳，但在多次尝试中，基础模型的成功率更高。这表明RLVR并未创造新的推理模式，而是提高了已有推理路径的效率。