出人意料！DeepSeek-R1用的GRPO其实没必要？规模化强化学习训练用PPO就够了
内容提要
研究表明，DeepSeek-R1 的核心算法 GRPO 对推理模型并不重要。使用普通 PPO 和简单奖励函数即可提升推理性能，开发的开源项目 Open-Reasoner-Zero 表现优于 DeepSeek-R1-Zero，且训练效率更高。
延伸解读
GRPO与PPO的比较
研究表明，GRPO算法在DeepSeek-R1中的重要性被高估。相较于GRPO，普通的PPO算法结合简单的奖励函数同样能够有效提升推理性能。这一发现为强化学习的应用提供了新的视角，表明在某些情况下，复杂的算法并非必需。
数据集的重要性
Open-Reasoner-Zero的成功在于其大规模、多样化的数据集。研究强调，数据的数量和质量对模型的训练效果至关重要。通过精心编排的57k样本，模型在复杂问题求解中展现了更强的能力，这提示研究者在训练模型时应重视数据的多样性和代表性。
简单奖励函数的优势
使用简单的基于规则的奖励函数，Open-Reasoner-Zero避免了复杂奖励设计带来的潜在问题，如奖励hacking。这一策略不仅简化了训练过程，还提高了模型的适应性，表明在强化学习中，简单有效的设计往往能带来更好的结果。
Q&A
DeepSeek-R1的核心算法GRPO有什么问题？
研究表明，GRPO对推理模型并不重要，使用普通PPO和简单奖励函数即可提升推理性能。
Open-Reasoner-Zero与DeepSeek-R1-Zero相比有什么优势？
Open-Reasoner-Zero在GPQA Diamond基准上的表现优于DeepSeek-R1-Zero，并且训练效率更高，仅需1/30的训练步数。
在训练中使用的奖励函数是什么样的？
采用简单的规则式奖励函数，仅检查答案的正确性，完全匹配奖励为1，其他情况奖励为0。
GAE参数在PPO推理任务中起什么作用？
GAE参数λ=1.0和γ=1.0在PPO推理任务中起关键作用，提供偏差与方差的权衡。
Open-Reasoner-Zero模型的训练数据集包含什么内容？
数据集包含57k样本，涵盖STEM、数学和推理领域，旨在增强模型在复杂问题求解中的能力。
为什么简单的奖励函数被认为是最佳选择？
简单的奖励函数避免了奖励hacking的潜在空间，并且能够快速适应所需的格式，表明这是简单的任务。
