量子位
·
MSRA清北推出强化预训练！取代传统自监督，14B模型媲美32B
内容提要
微软亚洲研究院与清华、北大联合提出强化预训练（RPT），将强化学习深度融入大语言模型（LLM）预训练，提升模型的推理能力和下一个token预测准确度。实验结果显示，RPT-14B在多种任务上优于传统模型，展现出更强的推理能力和潜力。
关键要点
-
微软亚洲研究院与清华、北大联合提出强化预训练（RPT），将强化学习深度融入大语言模型（LLM）预训练。
-
RPT通过推理任务重构预训练过程，提升模型的推理能力和下一个token预测准确度。
-
传统预训练依赖自监督学习，而RPT通过引入强化学习激励有效的Next-Token推理任务。
-
模型生成思维链推理序列，并通过前缀匹配奖励验证预测的正确性。
-
实验结果显示，RPT-14B在多种任务上优于传统模型，展现出更强的推理能力。
-
RPT在跨难度的训练计算方面表现出清晰的幂律缩放，预测准确性随着计算的增加而提高。
-
RPT-14B在SuperGPQA和MMLU-Pro基准测试上的零样本评估中表现优异。
-
未来强化学习可能在LLM预训练过程中引发更大的变革。
延伸解读
强化学习的优势
RPT通过引入强化学习，显著提升了模型的推理能力和下一个token的预测准确度。这种方法不仅重构了传统的预训练过程，还使得模型能够在复杂推理任务中表现更佳，展示了强化学习在自然语言处理中的潜力。
与传统模型的比较
实验结果表明，RPT-14B在多种任务上超越了传统的自监督学习模型，甚至在某些情况下与更大规模的模型相媲美。这一发现提示我们，未来的模型设计可能不再单纯依赖模型规模，而是更注重训练方法的创新。
推理能力的培养
RPT的训练过程强调生成思维链推理序列，这不仅提升了模型的语言理解能力，还培养了更深层次的推理习惯。未来的研究可以进一步探索如何优化这一过程，以便在更广泛的应用场景中发挥作用。
延伸问答
什么是强化预训练（RPT）？
强化预训练（RPT）是微软亚洲研究院与清华、北大联合提出的一种新预训练范式，将强化学习深度融入大语言模型的预训练阶段。
RPT如何提升模型的推理能力？
RPT通过将预训练过程重构为推理任务，激励模型在预测下一个token前进行深层次推理，从而提升推理能力和预测准确度。
RPT-14B与传统模型相比有什么优势？
实验结果显示，RPT-14B在多种任务上优于传统模型，展现出更强的推理能力和更高的下一个token预测准确率。
RPT在训练计算方面表现如何？
RPT在跨难度的训练计算方面表现出清晰的幂律缩放，预测准确性随着计算的增加而提高。
RPT模型在基准测试中的表现如何？
RPT-14B在SuperGPQA和MMLU-Pro基准测试的零样本评估中表现优异，超越了其他模型。
未来强化学习在LLM预训练中可能带来什么变化？
未来强化学习可能在LLM预训练过程中引发更大的变革，推动模型的进一步发展和性能提升。
