💡
原文中文，约2900字，阅读约需7分钟。
📝
内容提要
新的扩散模型框架d1通过强化学习提升了大语言模型的推理能力，采用两阶段后训练方法结合监督微调和diffu-GRPO策略梯度，显著改善了数学和逻辑推理任务的表现。
🎯
关键要点
- 新的扩散模型框架d1通过强化学习提升了大语言模型的推理能力。
- d1采用两阶段后训练方法结合监督微调和diffu-GRPO策略梯度。
- 强化学习方法在推理任务上取得显著改进，显示出与自回归模型相媲美的性能。
- 离散扩散大语言模型（dLLM）成为非自回归语言建模的潜力替代。
- 顶级开源dLLM尚未使用RL后训练，存在研究空间。
- d1框架的第一阶段为监督微调，第二阶段为引入新策略梯度方法diffu-GRPO。
- 研究者提出的对数概率估计器提高了计算效率，降低了RL训练的计算时间。
- 实验结果显示d1-LLaDA在数学和逻辑推理基准测试中优于基础模型。
- diffu-GRPO在所有设置中均优于基础LLaDA和SFT，显示出更强的整体性能提升。
- d1训练方案实现了显著的性能提升，表明两个训练阶段存在协同效应。
- 在生成的推理轨迹中，SFT和d1-LLaDA模型展现出自我修正机制和回溯行为。
❓
延伸问答
d1框架是如何提升大语言模型的推理能力的？
d1框架通过两阶段后训练方法结合监督微调和diffu-GRPO策略梯度，显著改善了推理能力。
什么是diffu-GRPO，它在d1框架中起什么作用？
diffu-GRPO是一种新颖的策略梯度方法，用于掩码dLLM，能够有效提升推理性能。
d1框架与传统的自回归模型相比有什么优势？
d1框架的离散扩散大语言模型（dLLM）在推理任务上表现出与自回归模型相媲美的性能，且具有非自回归的优势。
d1框架的两个训练阶段分别是什么？
第一个阶段是监督微调，第二个阶段是引入diffu-GRPO策略梯度进行强化学习。
实验结果显示d1-LLaDA的性能如何？
实验结果表明，d1-LLaDA在数学和逻辑推理基准测试中始终优于基础模型和仅使用SFT或diffu-GRPO的模型。
d1框架的研究空间有哪些？
顶级开源dLLM尚未使用RL后训练，表明在这一领域还有很大的研究空间。
➡️
