华人团队研究表明，扩散语言模型在token数量受限时，其数据潜力超过自回归模型三倍，且未出现性能饱和。该模型通过双向建模和高计算密度提升学习效果，且在过拟合情况下性能仍可能持续提升。

本研究提出MAGNET方法，通过自监督训练和双向因果注意力机制，增强解码器的双向建模能力，提高文本生成和缺失文本填补的效果。