基于在线动态嵌入预测的减少陈旧性的分布式 GNN 训练
原文中文,约300字,阅读约需1分钟。发表于: 。SAT 是一种新颖的可扩展分布式 GNN 训练框架,通过建立包括时序图模型以预测未来嵌入的模型,有效减轻了缓存历史嵌入的陈旧问题,从而在多个大规模图数据集上实现了更好的性能和收敛速度。
本文提出了一种在分布式设置下使用节点采样的图神经网络的小批量训练与推断的方案,通过分析多跳邻域采样时的节点包含概率(VIP),提出基于 VIP 驱动的缓存策略,减少通信量,保持本地训练效率和可扩展性,并在常用节点特征上用 GPU 存储。实验结果表明,使用 SALIENT++ 在 8 个单 GPU 机器上训练 3 层 GraphSAGE 模型的速度比使用 SALIENT 在 1 个单 GPU 机器上快 7.1 倍,在 8 个单 GPU 机器上比使用 DistDGL 快 12.7 倍。