扩散LLM推理用上类GRPO强化学习！优于单独SFT，UCLA、Meta新框架d1开源
原文中文，约2900字，阅读约需7分钟。
📝
内容提要
新的扩散模型框架d1通过强化学习提升了大语言模型的推理能力，采用两阶段后训练方法结合监督微调和diffu-GRPO策略梯度，显著改善了数学和逻辑推理任务的表现。
🔎
延伸解读
强化学习在非自回归模型中的应用
d1框架通过引入diffu-GRPO策略梯度，展示了强化学习在非自回归模型中的潜力。这一创新方法不仅提升了推理能力，还为未来的研究提供了新的方向，尤其是在如何有效应用RL于dLLM方面。
d1框架的协同效应
d1框架的两阶段训练方法显示出显著的协同效应，先进行监督微调再结合RL训练，能够超越单一方法的性能提升。这一发现强调了在模型训练中综合多种策略的重要性，值得研究者关注。
计算效率的提升
研究者提出的对数概率估计器显著提高了计算效率，减少了RL训练所需的计算时间。这一技术进步不仅优化了训练过程，也为大规模模型的应用提供了可能，尤其是在资源有限的情况下。
❓
Q&A
d1框架是如何提升大语言模型的推理能力的？
d1框架通过两阶段后训练方法结合监督微调和diffu-GRPO策略梯度，显著改善了推理能力。
什么是diffu-GRPO，它在d1框架中起什么作用？
diffu-GRPO是一种新颖的策略梯度方法，用于掩码dLLM，能够有效提升推理性能。
d1框架与传统的自回归模型相比有什么优势？
d1框架的离散扩散大语言模型（dLLM）在推理任务上表现出与自回归模型相媲美的性能，且具有非自回归的优势。
d1框架的两个训练阶段分别是什么？
第一个阶段是监督微调，第二个阶段是引入diffu-GRPO策略梯度进行强化学习。
实验结果显示d1-LLaDA的性能如何？
实验结果表明，d1-LLaDA在数学和逻辑推理基准测试中始终优于基础模型和仅使用SFT或diffu-GRPO的模型。
d1框架的研究空间有哪些？
顶级开源dLLM尚未使用RL后训练，表明在这一领域还有很大的研究空间。
🏷️
