扩散LLM推理用上类GRPO强化学习！优于单独SFT，UCLA、Meta新框架d1开源
内容提要
新的扩散模型框架d1通过强化学习提升了大语言模型的推理能力，采用两阶段后训练方法结合监督微调和diffu-GRPO策略梯度，显著改善了数学和逻辑推理任务的表现。
关键要点
-
新的扩散模型框架d1通过强化学习提升了大语言模型的推理能力。
-
d1采用两阶段后训练方法结合监督微调和diffu-GRPO策略梯度。
-
强化学习方法在推理任务上取得显著改进，显示出与自回归模型相媲美的性能。
-
离散扩散大语言模型（dLLM）成为非自回归语言建模的潜力替代。
-
顶级开源dLLM尚未使用RL后训练，存在研究空间。
-
d1框架的第一阶段为监督微调，第二阶段为引入新策略梯度方法diffu-GRPO。
-
研究者提出的对数概率估计器提高了计算效率，降低了RL训练的计算时间。
-
实验结果显示d1-LLaDA在数学和逻辑推理基准测试中优于基础模型。
-
diffu-GRPO在所有设置中均优于基础LLaDA和SFT，显示出更强的整体性能提升。
-
d1训练方案实现了显著的性能提升，表明两个训练阶段存在协同效应。
-
在生成的推理轨迹中，SFT和d1-LLaDA模型展现出自我修正机制和回溯行为。
延伸解读
强化学习在非自回归模型中的应用
d1框架通过引入diffu-GRPO策略梯度，展示了强化学习在非自回归模型中的潜力。这一创新方法不仅提升了推理能力，还为未来的研究提供了新的方向，尤其是在如何有效应用RL于dLLM方面。
d1框架的协同效应
d1框架的两阶段训练方法显示出显著的协同效应，先进行监督微调再结合RL训练，能够超越单一方法的性能提升。这一发现强调了在模型训练中综合多种策略的重要性，值得研究者关注。
计算效率的提升
研究者提出的对数概率估计器显著提高了计算效率，减少了RL训练所需的计算时间。这一技术进步不仅优化了训练过程，也为大规模模型的应用提供了可能，尤其是在资源有限的情况下。
延伸问答
d1框架是如何提升大语言模型的推理能力的？
d1框架通过两阶段后训练方法结合监督微调和diffu-GRPO策略梯度，显著改善了推理能力。
什么是diffu-GRPO，它在d1框架中起什么作用？
diffu-GRPO是一种新颖的策略梯度方法，用于掩码dLLM，能够有效提升推理性能。
d1框架与传统的自回归模型相比有什么优势？
d1框架的离散扩散大语言模型（dLLM）在推理任务上表现出与自回归模型相媲美的性能，且具有非自回归的优势。
d1框架的两个训练阶段分别是什么？
第一个阶段是监督微调，第二个阶段是引入diffu-GRPO策略梯度进行强化学习。
实验结果显示d1-LLaDA的性能如何？
实验结果表明，d1-LLaDA在数学和逻辑推理基准测试中始终优于基础模型和仅使用SFT或diffu-GRPO的模型。
d1框架的研究空间有哪些？
顶级开源dLLM尚未使用RL后训练，表明在这一领域还有很大的研究空间。
