基于扩散语言模型的文本引导分子生成
内容提要
本文综述扩散模型与语言模型在3D分子生成中的进展，涵盖分子间关系扩散模型、半自回归扩散语言模型SSD-LM、潜空间几何扩散GeoLDM、3D分子语言模型3D-MoLM、几何促进扩散GFMDiff、GCDM、基于口袋的生成方法、可控生成Diffusion-LM及化学大模型ChemDFM等。多数方法在有效性、构型与推理速度上优于现有基线。
延伸解读
扩散模型与语言模型的融合趋势
文章梳理了扩散模型与语言模型在3D分子生成中的交叉进展。从SSD-LM的半自回归扩散语言模型，到Diffusion-LM实现可控文本生成，再到3D-MoLM将3D分子编码器嵌入语言模型，显示出两类模型相互借鉴的趋势。这种融合旨在兼顾生成质量、多样性与可控性，为分子设计提供新思路。
几何信息建模的持续优化
多个工作聚焦于分子几何结构的建模。GeoLDM在潜空间进行扩散，提升了大分子生成的有效率；GFMDiff通过双轨Transformer和几何促进损失处理多体相互关系；GCDM采用几何完整的消息传递图神经网络，并提供了物理归纳偏差的初步见解。这些方法共同推动了对分子3D构型的更精确捕捉。
基于口袋的生成与可控性进展
基于口袋的3D分子生成方法利用语言模型的3D坐标生成能力，并设计扰动复原预训练任务，在结合模式、药物性质、合理构型和推理速度等指标上表现最优。同时，Diffusion-LM通过梯度算法实现细粒度控制，展示了可控生成的潜力。这些进展有助于针对特定靶点设计分子。
化学大模型与片段设计
ChemDFM作为化学领域的大型语言模型，具备专业语言和知识，在化学任务中表现强大。基于片段的药物设计范例则通过生成小分子结构语言模型，提高了分子的有效性和独特性，达到基于图像模型的最佳表现。这些工作表明，领域知识与生成模型的结合能提升分子设计的实用性和创新性。
Q&A
扩散模型在3D分子生成中主要解决了哪些挑战？
扩散模型主要解决了3D分子生成中的两大挑战：缺乏分子间关系和探索不足。
SSD-LM是什么？它在文本生成方面有什么特点？
SSD-LM是一种半自回归扩散语言模型，可以迭代地生成文本块，在不使用GPT-2后，在标准的质量和多样性指标上与强自回归基线匹配或优于其性能。
GeoLDM如何提升大分子生成的有效性？
GeoLDM是一种基于几何潜变扩散模型的新方法，通过在潜空间中运行扩散模型来生成分子的三维几何结构，对生成大分子的有效百分比有7%的提升。
3D-MoLM是什么？它有什么应用潜力？
3D-MoLM是通过在语言模型中嵌入3D分子编码器提出的3D分子语言建模方法，用于解决语言模型在理解三维分子结构方面的限制，在生物分子领域具有潜力。
GFMDiff采用了哪些技术来解决分子生成中的问题？
GFMDiff通过引入双轨Transformer网络（DTN）和几何促进损失（GFLoss）解决了构成二元边和模型分子几何形状的多体间相互关系的建模问题，在现有基准上的全面实验证明了其优越性。
基于口袋的3D分子生成方法在哪些指标上表现最优？
基于口袋的3D分子生成方法在几乎所有指标上实现了最优的表现，特别是在结合模式、药物性质、合理构型和推理速度方面。
Diffusion-LM在可控文本生成方面有什么优势？
Diffusion-LM是一种基于连续扩散的非自回归语言模型，在语言生成过程中能够通过简单的基于梯度的算法实现复杂的可控生成任务，并成功应用在六个难度较大的细粒度控制任务中，表现出优秀的性能。
ChemDFM是什么？它在化学任务中表现如何？
ChemDFM是化学研究中的大型语言模型，具有高度专业化的语言和知识，并在化学任务中表现出强大的性能和效果。
