利用 Transformer 和 RNN 在哺乳动物蛋白质中预测 O-GlcNA 修饰位点，使用新的损失函数训练
内容提要
该文综述了蛋白质与分子建模的多项AI研究：Prot2Text融合图神经网络与大语言模型，结合序列、结构和文本预测蛋白质功能；xTrimoPGLM以千亿参数统一蛋白质理解与生成；SYN-FUSION结合图神经网络与Transformer预测分子性质；此外还涉及蛋白质二级结构预测、可溶性预测及可解释性研究。
延伸解读
多模态融合提升蛋白质功能预测
文章介绍的Prot2Text方法融合图神经网络与大语言模型，综合蛋白质序列、结构和文本注释，以自由文本形式预测功能，超越了传统二分类或多分类任务。这种多模态整体表示能提供更详细准确的描述，为研究人员提供强大工具。
统一蛋白质语言模型的规模与能力
xTrimoPGLM拥有超过1000亿参数和1万亿训练标记，能同时处理蛋白质理解与生成任务。在18个理解基准测试中表现优异，可提供原子分辨率结构视图，并超越现有工具的3D结构预测能力，还能生成全新蛋白质序列或进行可编程生成。
分子性质预测的协同创新
SYN-FUSION结合图神经网络和Transformer的预训练特征，捕捉全局分子结构和原子特征。在MoleculeNet基准的5个分类和6个回归数据集上表现卓越，消融实验表明其协同效应超过各组成部分，为分子性质预测带来实质性改进。
可解释性与多任务学习进展
文章还涉及可解释AI在蛋白质功能预测中的应用，通过扩展集成梯度方法检查Transformer内部表示。此外，基于提示的模型集成Transformer和图卷积，可预测二级结构、可溶性等，并设计具有这些特性的蛋白质，展现多任务协同价值。
Q&A
Prot2Text 是什么？它如何预测蛋白质功能？
Prot2Text 是一种在编码器-解码器框架中融合图神经网络和大型语言模型的新方法，能够以自由文本形式预测蛋白质功能，超越传统的二分类或多分类任务。它综合蛋白质序列、结构和文本注释等多模态数据，实现对蛋白质功能的整体表示，提供详细准确的描述。
xTrimoPGLM 蛋白质语言模型有什么特点？
xTrimoPGLM 是一个统一的蛋白质语言模型，拥有超过 1000 亿个参数和 1 万亿个训练标记，能同时处理蛋白质理解和生成任务。在 18 个蛋白质理解基准测试中明显优于其他先进基准，能提供蛋白质结构的原子分辨率视图，并超越现有基于语言模型的工具的 3D 结构预测能力。它还能根据自然原理生成全新的蛋白质序列，并可在有监督精调后进行可编程的生成。
SYN-FUSION 如何预测分子性质？
SYN-FUSION 结合了来自图神经网络和 Transformer 的预训练特征，提供综合的分子表示，捕捉全局分子结构和各个原子特征。在 MoleculeNet 基准数据集上表现出卓越性能，优于以前的模型，在 5 个分类数据集和 6 个回归数据集中有优势。消融实验表明其协同效应超过了各个模型组成部分和集成模型。
Transformer 相比 RNN 在分子生成中有哪些优势？
Transformer 相比循环神经网络 (RNNs) 具有优越的序列学习能力，可以有效地生成具有期望属性的分子结构。与传统的基于 RNN 的模型相比，Transformer 方法在生成被预测为对多种生物目标活性化合物方面表现出优秀性能，能捕捉分子结构序列中的长期依赖关系。
可解释人工智能如何帮助理解蛋白质功能预测模型？
通过扩展广泛使用的 XAI 方法——集成梯度，可以检查 Gene Ontology 术语和酶委员会编号预测中微调的 Transformer 模型内部的潜在表示，从而揭示神经网络在蛋白质功能预测中的内部运作。
基于语言模型的深度学习方法在蛋白质任务中有哪些应用？
基于语言模型的灵活深度学习策略，将 transformer 和图卷积架构集成到因果多头图机制中，实现生成预训练模型，用于预测蛋白质的二级结构内容、蛋白质可溶性和蛋白质测序等任务，并可用于设计具有这些特性的蛋白质，展现了多任务和协同作用的应用价值。
