Transformer模型是图到图的模型，通过注意力权重计算和类似于注意力的函数预测图中的边，将显式图集成到预训练的Transformer模型中学习出的潜在图中。该架构在语言结构建模方面准确性最先进。