Transformer模型是图到图的模型，通过注意力权重计算和类似于注意力的函数预测图中的边，将显式图集成到预训练的Transformer模型中学习出的潜在图中。该架构在语言结构建模方面准确性最先进。

该文介绍了一种基于图到图的 Transformer 模型架构，将图的边作为输入用于注意力权重计算，并使用类似于注意力的函数预测图中的边，从而将显式图集成到预训练的 Transformer 模型中学习出的潜在图中。