通过过程监督提升数学推理能力

📝

内容提要

我们通过奖励每一步正确推理（称为“过程监督”）训练了一个模型，取得了数学问题解决的新突破。与仅奖励最终答案的“结果监督”相比，过程监督不仅提高了性能，还能直接训练模型生成符合人类思维的推理链。

🎯

关键要点

• 通过奖励每一步正确推理（称为“过程监督”）训练模型，取得数学问题解决的新突破。

• 与仅奖励最终答案的“结果监督”相比，过程监督提高了模型性能。

• 过程监督直接训练模型生成符合人类思维的推理链，具有重要的对齐优势。

🏷️

标签

推理 数学问题 模型 结果监督 过程监督