DiffuCoder是一种新型去噪扩散大语言模型,专注于代码生成。研究表明,DiffuCoder在解码行为上与自回归模型不同,能够自主决定生成的因果性。通过新颖的采样方案coupled-GRPO,显著提升了代码生成性能,并减少了对自回归偏差的依赖。这项研究为扩散模型的生成机制提供了深入见解,并提出了有效的强化学习训练框架。
苹果开源了DiffuCoder,这是一个针对编码任务优化的扩散大语言模型,基于Qwen-2.5-Coder,在多个编码基准测试中表现优于其他模型。DiffuCoder通过并行去噪生成文本,速度更快,采用coupled-GRPO技术显著提升性能。在MBPP基准测试中超越Gemini Diffusion,并与GPT-4o竞争。该模型的代码已在GitHub上发布。
完成下面两步后,将自动完成登录并继续当前操作。