InfoQ
·
苹果开源基于扩散的编码模型DiffuCoder
内容提要
苹果开源了DiffuCoder，这是一个针对编码任务优化的扩散大语言模型，基于Qwen-2.5-Coder，在多个编码基准测试中表现优于其他模型。DiffuCoder通过并行去噪生成文本，速度更快，采用coupled-GRPO技术显著提升性能。在MBPP基准测试中超越Gemini Diffusion，并与GPT-4o竞争。该模型的代码已在GitHub上发布。
关键要点
-
苹果开源了DiffuCoder，这是一个针对编码任务优化的扩散大语言模型。
-
DiffuCoder基于Qwen-2.5-Coder，在多个编码基准测试中表现优于其他模型。
-
DiffuCoder通过并行去噪生成文本，速度更快，采用coupled-GRPO技术显著提升性能。
-
在MBPP基准测试中，DiffuCoder超越Gemini Diffusion，并与GPT-4o竞争。
-
研究表明，DiffuCoder的生成速度比自回归模型快，最多可快五倍。
-
苹果的研究创建了自回归性（AR-ness）指标，用于衡量模型生成文本的模式。
-
增加采样温度可以提高模型的灵活性，从而改善编码基准的表现。
-
DiffuCoder的coupled-GRPO RL训练显著提高了基准测试结果。
-
DiffuCoder的代码已在GitHub上发布，模型文件可从Huggingface下载。
延伸解读
DiffuCoder的技术优势
DiffuCoder采用并行去噪的生成方式，相比传统的自回归模型，生成速度可快达五倍。这种技术使得在编码任务中，DiffuCoder能够更高效地处理复杂的代码生成，尤其在需要快速反馈的开发环境中，具有显著的优势。
Coupled-GRPO的创新
苹果的coupled-GRPO技术显著提升了DiffuCoder的性能，尤其是在MBPP基准测试中表现突出。这种强化学习方法结合了扩散模型的优势，为未来的编码模型开发提供了新的思路，可能会推动更多高效模型的出现。
开源的影响
DiffuCoder的开源将促进开发者社区的参与和创新，尤其是在编码任务的优化方面。开发者可以基于此模型进行二次开发，探索更多应用场景，推动人工智能在编程领域的进一步发展。
延伸问答
DiffuCoder是什么类型的模型？
DiffuCoder是一个针对编码任务优化的扩散大语言模型。
DiffuCoder与其他模型相比有什么优势？
DiffuCoder在多个编码基准测试中表现优于其他模型，并且生成速度比自回归模型快，最多可快五倍。
DiffuCoder是基于什么技术开发的？
DiffuCoder基于Qwen-2.5-Coder，并采用coupled-GRPO技术来提升性能。
如何提高DiffuCoder的编码基准表现？
增加采样温度可以提高模型的灵活性，从而改善编码基准的表现。
DiffuCoder的代码在哪里可以找到？
DiffuCoder的代码已在GitHub上发布，模型文件可从Huggingface下载。
DiffuCoder在MBPP基准测试中的表现如何？
在MBPP基准测试中，DiffuCoder超越了Gemini Diffusion，并与GPT-4o竞争。
