PLM重大突破！上海交大与上海AI Lab最新成果入选NeurIPS 24，ProSST有效整合蛋白质结构信息
内容提要
蛋白质的功能与其三维结构密切相关。科学家们开发了预训练的蛋白质语言模型ProSST，结合结构信息以提高预测准确性。ProSST在1,880万蛋白质结构数据上预训练，采用解耦注意力机制，显著提升了热稳定性和金属离子结合等任务的预测性能，成为蛋白质研究的重要工具。
关键要点
-
蛋白质的功能与其三维结构密切相关。
-
科学家们开发了预训练的蛋白质语言模型ProSST，结合结构信息以提高预测准确性。
-
ProSST在1,880万蛋白质结构数据上预训练，采用解耦注意力机制。
-
ProSST在热稳定性和金属离子结合等任务的预测性能显著提升。
-
ProSST模型架构包括结构量化模块和序列-结构解耦注意力机制。
-
ProSST的参数量为110M，远小于经典模型，但在下游任务中表现最佳。
-
ProSST在ProteinGym基准测试中排名第一，首次实现零样本突变性能预测Spearman相关性超过0.5。
-
研究团队使用AlphaFoldDB和CATH43-S40等数据集进行无监督预训练。
-
ProSST的结构量化模块将蛋白质结构转化为离散的结构元，提升了局部结构的表征能力。
-
ProSST的解耦注意力机制使模型能够学习氨基酸序列与结构之间的复杂关系。
-
ProSST在监督学习任务中表现优异，获得多个第一名和第二名。
-
PLM研究主要分为检索增强型和多模态PLM两大方向，ProSST属于后者。
-
PLM逐渐成为生命科学领域的重要工具，具有巨大的应用潜力。
延伸解读
ProSST的创新机制
ProSST模型通过结构量化模块和解耦注意力机制有效整合了蛋白质的序列与结构信息。这种创新设计使得模型能够更准确地捕捉氨基酸序列与其三维结构之间的复杂关系，从而在多项预测任务中表现优异，显示出其在蛋白质研究中的重要性。
与其他模型的比较
尽管ProSST的参数量仅为110M，远小于许多经典模型，但其在下游任务中的表现却优于其他大型模型，如ESM系列。这表明，ProSST在模型架构设计上具有显著优势，能够在保持较小模型规模的同时，实现更高的预测准确性。
PLM研究的未来方向
当前，PLM研究主要分为检索增强型和多模态两大方向。ProSST作为多模态PLM的代表，展示了将结构信息整合进蛋白质语言模型的潜力。未来，随着更多类似研究的涌现，PLM有望在生命科学领域发挥更大的作用，推动蛋白质功能预测和疾病治疗的进展。
延伸问答
ProSST模型的主要创新点是什么？
ProSST模型结合了蛋白质结构信息和氨基酸序列，通过解耦注意力机制有效整合这两类信息，显著提升了预测性能。
ProSST在蛋白质研究中有哪些应用？
ProSST在热稳定性预测、金属离子结合预测、蛋白质定位预测和GO注释预测等任务中表现优异。
ProSST的参数量与其他模型相比如何？
ProSST的参数量为110M，远小于经典模型ESM系列的650M，但在下游任务中表现最佳。
ProSST如何处理蛋白质结构信息？
ProSST通过结构量化模块将蛋白质结构转化为离散的结构元，并与氨基酸序列一起输入模型。
ProSST在ProteinGym基准测试中的表现如何？
ProSST在ProteinGym基准测试中排名第一，首次实现零样本突变性能预测Spearman相关性超过0.5。
ProSST的解耦注意力机制有什么作用？
解耦注意力机制使模型能够学习氨基酸序列与结构之间的复杂关系，从而提高模型的性能和稳定性。
