小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
DiffuCoder:理解与改进用于代码生成的掩蔽扩散模型

DiffuCoder是一种新型去噪扩散大语言模型,专注于代码生成。研究表明,DiffuCoder在解码行为上与自回归模型不同,能够自主决定生成的因果性。通过新颖的采样方案coupled-GRPO,显著提升了代码生成性能,并减少了对自回归偏差的依赖。这项研究为扩散模型的生成机制提供了深入见解,并提出了有效的强化学习训练框架。

DiffuCoder:理解与改进用于代码生成的掩蔽扩散模型

Apple Machine Learning Research
Apple Machine Learning Research · 2026-01-21T00:00:00Z

本研究提出了一种广义化掩蔽扩散方法,克服了语言模型在生成过程中无法修改已生成词汇的局限性。通过结合掩蔽与均匀噪声,显著提高了样本质量,并增强了模型的自我纠错能力。

Generalized Interpolating Discrete Diffusion

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-06T00:00:00Z

本研究解决了掩蔽扩散模型中标记解掩顺序对生成质量的影响问题,提出了一种新的路径规划方法(P2),通过使用预训练的BERT模型或去噪器引导解掩决策。研究表明,P2 在多个领域(如语言生成和生物序列生成)中显著提升了性能,具有广泛的应用潜力。

掩蔽扩散模型采样的路径规划

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-05T00:00:00Z

本文介绍了SSD-LM扩散语言模型,采用自条件嵌入扩散机制,提升了文本生成的效率和质量。研究表明,该模型在推断时间上更高效,并能根据指令进行微调,表现优于自回归模型。通过算法改进,成功构建了大规模扩散语言模型Plaid 1B,推动了扩散模型在文本生成中的应用。

文本上的掩蔽扩散模型的规模化研究

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-24T00:00:00Z

本文探讨了一类基于扩散过程的生成模型,提出了DiffusionBERT和Masked-Diffuse LM等新模型,显著提升了文本生成质量。研究还发展了加速算法和优化方法,展示了在自然语言生成和机器翻译中的优越性,并在语言建模基准测试中取得最佳结果。

掩蔽扩散模型实际上是时间无关的掩蔽模型,并利用不准确的类别采样

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-04T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码