DiffuCoder是一种新型去噪扩散大语言模型,专注于代码生成。研究表明,DiffuCoder在解码行为上与自回归模型不同,能够自主决定生成的因果性。通过新颖的采样方案coupled-GRPO,显著提升了代码生成性能,并减少了对自回归偏差的依赖。这项研究为扩散模型的生成机制提供了深入见解,并提出了有效的强化学习训练框架。
本研究提出了一种广义化掩蔽扩散方法,克服了语言模型在生成过程中无法修改已生成词汇的局限性。通过结合掩蔽与均匀噪声,显著提高了样本质量,并增强了模型的自我纠错能力。
本研究解决了掩蔽扩散模型中标记解掩顺序对生成质量的影响问题,提出了一种新的路径规划方法(P2),通过使用预训练的BERT模型或去噪器引导解掩决策。研究表明,P2 在多个领域(如语言生成和生物序列生成)中显著提升了性能,具有广泛的应用潜力。
本文介绍了SSD-LM扩散语言模型,采用自条件嵌入扩散机制,提升了文本生成的效率和质量。研究表明,该模型在推断时间上更高效,并能根据指令进行微调,表现优于自回归模型。通过算法改进,成功构建了大规模扩散语言模型Plaid 1B,推动了扩散模型在文本生成中的应用。
本文探讨了一类基于扩散过程的生成模型,提出了DiffusionBERT和Masked-Diffuse LM等新模型,显著提升了文本生成质量。研究还发展了加速算法和优化方法,展示了在自然语言生成和机器翻译中的优越性,并在语言建模基准测试中取得最佳结果。
完成下面两步后,将自动完成登录并继续当前操作。