三元交互改进图变换器：基于三元图变换器的精确分子图学习
内容提要
本文综述了PAGTN、KPGT、AMCT、MAT、CoMPT、Moleformer和SYN-FUSION等分子表示学习模型，这些模型结合图神经网络与Transformer，采用自监督预训练和几何感知编码，在量子化学、物理化学及生物化学数据集上表现优异，推动了分子性质预测的发展。
延伸解读
模型演进：从图卷积到图变换器
文章梳理了分子表示学习从GCN到图变换器的演进。PAGTN（2019）通过路径增强改进了图变换器，在多个数据集上优于GCN。随后MAT（2020）引入原子间距离和分子结构增强注意力，CoMPT（2021）加强节点与边交互，KPGT（2022）采用知识引导预训练，AMCT（2023）结合原子与基团对比学习，Moleformer（2023）加入几何感知编码，SYN-FUSION（2023）融合GNN与Transformer特征。这些工作逐步提升了分子性质预测的准确性和泛化能力。
自监督预训练与几何感知编码的价值
文章强调自监督预训练和几何感知编码是提升模型性能的关键。MAT通过自监督预训练以极少超参数调整达到最优，KPGT利用大规模无标签分子图进行知识引导预训练，Moleformer采用旋转和平移不变的几何感知空间编码。这些技术使模型能充分利用未标注数据，并捕捉分子的三维几何信息，从而在量子化学、物理化学和生物化学任务中表现更优。
实际应用中的权衡：2D与3D结构
文章提到，3D PGT框架能在无法获得几何结构的实际应用场景中，仅以2D结构为输入预测分子属性，并展现出更高的准确性、效率和泛化能力。这提示读者，尽管几何感知编码（如Moleformer）能提升性能，但在实际应用中可能受限于3D结构获取的难度。因此，根据数据可用性选择合适的模型架构至关重要。
性能评估与基准数据集
文章列举了多个模型在量子化学（QM7、QM8、QM9）、物理化学（ESOL、亲脂）和生物化学（BACE、BBBP）数据集上的评估结果。SYN-FUSION在MoleculeNet基准的5个分类和6个回归数据集上表现优异，Moleformer在OC20和QM9上达到最先进水平。这些基准测试为比较不同模型提供了统一标准，但读者需注意，不同模型可能针对特定任务优化，实际应用时应根据具体需求选择。
Q&A
PAGTN模型在哪些数据集上表现优于GCN？
PAGTN在量子化学（QM7、QM8、QM9）、物理化学（ESOL、亲脂）和生物化学（BACE、BBBP）数据集上表现优于基于GCN的模型。
KPGT框架如何解决分子属性预测中的问题？
KPGT利用高容量的线性图转换器（LiGhT）和知识引导的预训练策略，在大规模无标签分子图上进行自监督学习，以解决分子属性预测中的两个主要问题。
AMCT模型在分子性质预测中有什么创新？
AMCT不仅探索原子级别的相互作用，还考虑了分子中关键图案（如功能基团）之间的相互作用，并构建了适用于分子属性的注意机制。
MAT模型如何利用分子结构信息？
MAT通过在Transformer中使用原子间距离和分子结构来扩充注意力机制，并可通过自监督预训练达到最新技术水平，其注意力权重具有化学可解释性。
CoMPT模型的主要特点是什么？
CoMPT使用Transformer结构加强节点和边之间的消息交互，提高分子图的表示能力，在七个化学性质数据集和两个化学位移数据集上表现出卓越性能。
Moleformer模型如何处理几何信息？
Moleformer将节点（原子）和边（键和非键原子对）作为输入，并使用旋转不变性和平移不变性的几何感知空间编码来模拟它们之间的相互作用。
SYN-FUSION方法在分子性质预测中的优势是什么？
SYN-FUSION结合了图神经网络和Transformer的预训练特征，提供综合的分子表示，在MoleculeNet基准数据集上优于以前的模型，在5个分类和6个回归数据集上有优势，消融实验表明其协同效应超过了各个组成部分。
