入选顶会ICML，清华AIR等联合发布蛋白质语言模型ESM-AA，超越传统SOTA
内容提要
蛋白质语言模型ESM-AA通过多尺度训练提高了蛋白质结构预测和适应性预测的性能。ESM-AA在靶点-配体结合任务中表现优于其他模型，并在分子表示学习任务中超越了最先进模型。ESM-AA的多尺度预训练框架包括掩码语言建模和成对距离恢复。ESM-AA在酶-底物亲和力回归任务和药物-靶点亲和力回归任务中表现优于其他模型。蛋白质语言模型的应用前景广阔，不仅限于医疗和生物制药领域，还可扩展到其他领域。
延伸解读
多尺度建模：从残基到原子的跨越
传统蛋白质语言模型主要在残基尺度上建模，难以捕捉原子级细节。ESM-AA通过残基展开和多尺度位置编码，将原子尺度信息融入模型，使其能同时处理蛋白质和分子数据。这种设计让模型在靶点-配体结合等任务中表现更优，也为统一分子建模提供了新思路。
性能优势：超越SOTA与参数效率
在酶-底物亲和力回归、药物-靶点亲和力回归等任务中，ESM-AA多数指标优于ESM-2、Uni-Mol等模型。值得注意的是，它甚至能击败参数量更大的预训练模型，表明多尺度预训练策略有效提升了参数效率。此外，基于ESM-AA的微调策略也持续优于组合独立模型的方案。
消融实验揭示数据依赖与尺度编码价值
消融实验显示，移除蛋白质数据比移除分子数据导致更明显的性能下降，说明蛋白质知识对模型至关重要。同时，原子尺度位置编码和残基尺度位置编码均对性能有贡献。这些结果验证了多尺度位置编码的必要性，也提示在预训练中平衡不同尺度数据的重要性。
应用前景与行业影响
ESM-AA的技术突破有望推动蛋白质语言模型在新药开发、疾病治疗等领域的应用。文章还提到，蛋白质语言模型正受益于缩放法则，企业界也涌现出xTrimoPGLM、TourSynbio等模型。未来，这类模型可能扩展到农业、材料科学等领域，但需注意其性能仍受训练数据和任务类型影响。
Q&A
ESM-AA模型的主要创新点是什么？
ESM-AA模型通过多尺度训练和位置编码，拓展了处理原子尺度信息的能力，显著提升了蛋白质结构预测的性能。
ESM-AA在靶点-配体结合任务中的表现如何？
ESM-AA在靶点-配体结合任务中表现优于其他模型，超越了目前的最先进模型。
蛋白质语言模型的应用前景有哪些？
蛋白质语言模型的应用前景广泛，包括新药开发、疾病治疗、基础生物学研究，甚至可扩展到农业和环境修复等领域。
ESM-AA的多尺度预训练框架包含哪些任务？
ESM-AA的多尺度预训练框架包括掩码语言建模和成对距离恢复。
ESM-AA在消融实验中表现如何？
消融实验表明，缺失蛋白质数据会显著降低模型性能，说明模型对蛋白质数据的训练依赖性强。
蛋白质语言模型如何推动蛋白质工程的发展？
蛋白质语言模型通过学习蛋白质序列的模式和结构，能够预测蛋白质的功能和形态，从而加速蛋白质工程的发展。
