使用变换器改造时序图神经网络
内容提要
本文介绍了多个深度学习框架在动态图形学中的应用，包括TGN、TGL、GraphMixer等。这些框架通过改进训练算法和模型结构，提高了训练速度和准确性，解决了时间依赖性问题，并在节点和图分类任务中展示了有效性。
延伸解读
动态图神经网络的技术演进脉络
从TGN到Todyformer，动态图神经网络的发展呈现出两条主线：一是模型结构的创新，如TransGNN交替使用Transformer和GNN层，Todyformer结合MPNN与Transformer；二是训练效率的优化，如TGL的随机块调度、DistTGL的分布式训练、MSPipe的在线管道调度。这些工作共同推动动态图学习在精度与速度上的平衡。
训练效率与可扩展性的关键突破
针对大规模动态图训练中的内存与时间依赖问题，TGL通过随机块调度解决节点内存过时，DistTGL在分布式GPU集群上实现14.5%的准确性提升和10.17倍的吞吐量增长，MSPipe则通过在线管道调度在不损失准确性的前提下获得2.45倍加速。这些方法为工业级应用提供了可扩展的训练方案。
Transformer与GNN融合的两种思路
TransGNN和Todyformer代表了Transformer与GNN融合的两种路径。TransGNN让Transformer层和GNN层交替作用，相互增强表达；Todyformer则结合MPNN的局部编码与Transformer的全局编码，并引入时间位置编码捕捉长距离依赖。两者均在实验中验证了有效性，但融合方式的不同可能影响计算复杂度和适用场景。
面向产业应用的框架与工具
LasTGL作为一个产业框架，整合了常见时间图学习算法的统一实现，并提供数据集、模型和工具，降低了初学者的入门门槛，也为专业人士提供了可扩展的解决方案。结合PRES、MSPipe等方法，动态图学习正从学术研究走向工程落地，但实际部署时仍需考虑数据规模、硬件资源和训练稳定性等因素。
Q&A
TGN框架的主要功能是什么？
TGN框架能够有效学习动态图中的演化特征或连接。
TGL框架如何解决节点内存问题？
TGL通过时间采样器、邮箱、节点内存模块等组件，以及随机块调度技术来解决节点内存问题。
DistTGL的优势是什么？
DistTGL在分布式GPU集群上训练时，准确性提高了14.5%，训练吞吐量提高了10.17倍。
TransGNN模型是如何改进图数据表现的？
TransGNN通过交替使用Transformer层和GNN层来改善节点信息聚合和图数据表现。
GraphMixer框架的创新之处是什么？
GraphMixer结合了MLP和邻居均值池化技术，能够更快收敛，并在时序链接预测任务中表现优秀。
MSPipe如何提高MTGNN的训练效率？
MSPipe通过在线管道调度算法提高训练效率，实现高达2.45倍的加速而不损失准确性。
