BriefGPT - AI 论文速递
·
基于在线动态嵌入预测的减少陈旧性的分布式 GNN 训练
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本文提出了一种在分布式设置下使用节点采样的图神经网络的小批量训练与推断的方案，通过分析多跳邻域采样时的节点包含概率（VIP），提出基于 VIP 驱动的缓存策略，减少通信量，保持本地训练效率和可扩展性，并在常用节点特征上用 GPU 存储。实验结果表明，使用 SALIENT++ 在 8 个单 GPU 机器上训练 3 层 GraphSAGE 模型的速度比使用 SALIENT 在 1 个单 GPU 机器上快 7.1 倍，在 8 个单 GPU 机器上比使用 DistDGL 快 12.7 倍。
🎯
关键要点
-
提出了一种在分布式设置下使用节点采样的图神经网络的小批量训练与推断方案。
-
通过分析多跳邻域采样时的节点包含概率（VIP），提出基于 VIP 驱动的缓存策略。
-
该策略显著减少通信量，保持本地训练效率和可扩展性。
-
在常用节点特征上使用 GPU 存储。
-
实验结果显示，使用 SALIENT++ 在 8 个单 GPU 机器上训练 3 层 GraphSAGE 模型的速度比使用 SALIENT 快 7.1 倍。
-
在 8 个单 GPU 机器上，使用 SALIENT++ 比使用 DistDGL 快 12.7 倍。
🏷️
