量子位
·
SFT并非必需！推理模型仅靠RL就能获得长思维链能力，清华CMU团队破解黑盒
内容提要
清华与CMU团队的研究表明，长思维链（CoT）推理能力可以通过强化学习（RL）实现，监督微调（SFT）并非必需，但能提升效率。研究强调奖励函数对CoT扩展的重要性，并指出模型具备自我纠错能力。未来的研究将集中在模型规模和RL基础设施的改进上。
关键要点
-
SFT并非必需，但能简化训练并提高效率。
-
推理能力随着训练计算的增加而出现，但并非总是如此。
-
可验证奖励函数对增长CoT至关重要。
-
纠错等核心能力基础模型天生自带，但通过RL有效地激励这些技能需要大量的计算。
-
研究团队采用了Llama-3.1-8B和QwQ-32B-Preview等基础模型进行实验。
-
长CoT SFT能够显著提高模型的性能上限，且有更高的性能拓展空间。
-
使用长CoT SFT初始化的模型通常可以通过RL进一步显著改进。
-
引入余弦长度缩放奖励机制，有效稳定思维链的增长。
-
从涌现长CoT模式中提炼的模型比构建的模式泛化得更好。
-
未来研究方向包括扩大模型规模、改进RL基础设施和探索更有效的验证信号。
延伸解读
强化学习的潜力与挑战
研究表明，强化学习（RL）在提升长思维链（CoT）能力方面具有显著潜力，但并非总能稳定扩展思维链的长度和复杂性。引入余弦长度缩放奖励机制可以有效稳定思维链的增长，研究者需关注如何设计奖励机制以激励模型的自我纠错和反思能力。
SFT的作用与局限
虽然监督微调（SFT）并非实现长CoT的必要条件，但它能简化训练过程并提高效率。研究显示，长CoT SFT能够显著提升模型性能上限，尤其是在数据量充足的情况下。读者应关注SFT在不同模型和任务中的适用性及其对训练效率的影响。
奖励函数的重要性
可验证的奖励函数对长CoT的扩展至关重要。研究指出，稀缺的高质量数据使得奖励函数的设计变得复杂，利用网络提取的噪声数据可能提供新的解决方案。未来的研究应聚焦于如何优化奖励函数，以提升模型在复杂推理任务中的表现。
延伸问答
长思维链能力如何通过强化学习实现？
长思维链能力可以通过强化学习实现，而监督微调并非必需，但能提高效率。
奖励函数在长思维链扩展中有何重要性？
可验证的奖励函数对长思维链的扩展至关重要，能够有效激励模型的推理能力。
SFT对长思维链的影响是什么？
SFT能够简化训练并提高模型的准确性，尤其是在长思维链数据上进行时。
未来的研究方向有哪些？
未来研究将集中在扩大模型规模、改进强化学习基础设施和探索更有效的验证信号上。
长思维链和短思维链在强化学习中的表现有何不同？
长思维链模型在强化学习中通常能获得显著改进，而短思维链模型的收益较小。
如何有效激励模型的自我纠错能力？
通过强化学习有效激励自我纠错能力需要大量计算，并需设计精细的激励机制。
