华人团队研究表明，扩散语言模型在token数量受限时，其数据潜力超过自回归模型三倍，且未出现性能饱和。该模型通过双向建模和高计算密度提升学习效果，且在过拟合情况下性能仍可能持续提升。

Mercury是一种高效的扩散语言模型，生成代码速度比传统模型快10倍，达到1109 tokens/秒。它采用“从噪声到结构化输出”的方法，具备动态纠错能力，提升生成灵活性。Mercury结合Transformer架构，优化硬件利用，解决CI/CD速度瓶颈。

本文介绍了一种基于扩散语言模型的文本导向分子生成方法(TGM-DLM)，该方法克服了自回归方法的局限性，通过两阶段的扩散生成过程更新SMILES字符串中的标记嵌入。实验证明，TGM-DLM模型在生成具有特定属性的连贯准确分子方面优于自回归模型MolT5-Base，无需额外数据资源，为药物发现和相关科学领域开辟新途径。