DiffuCoder是一种新型去噪扩散大语言模型,专注于代码生成。研究表明,DiffuCoder在解码行为上与自回归模型不同,能够自主决定生成的因果性。通过新颖的采样方案coupled-GRPO,显著提升了代码生成性能,并减少了对自回归偏差的依赖。这项研究为扩散模型的生成机制提供了深入见解,并提出了有效的强化学习训练框架。
本研究提出了一种广义化掩蔽扩散方法,克服了语言模型在生成过程中无法修改已生成词汇的局限性。通过结合掩蔽与均匀噪声,显著提高了样本质量,并增强了模型的自我纠错能力。
本研究解决了掩蔽扩散模型中标记解掩顺序对生成质量的影响问题,提出了一种新的路径规划方法(P2),通过使用预训练的BERT模型或去噪器引导解掩决策。研究表明,P2 在多个领域(如语言生成和生物序列生成)中显著提升了性能,具有广泛的应用潜力。
本研究提出了一种自条件嵌入扩散模型,能够灵活生成基于令牌的文本。评估结果表明,该模型生成的样本与自回归模型相当,但推断效率更高,为文本扩散模型的扩展奠定了基础。
本研究发现掩蔽扩散模型(MDMs)与时间变量无关,等同于掩蔽模型。首击采样器(FHS)提高了采样速度,揭示了不准确类别采样的数值问题,影响了对MDMs生成结果的评估。
完成下面两步后,将自动完成登录并继续当前操作。