图神经网络中的合作小批处理

本文提出了一种基于 VIP 驱动的缓存策略，用于在分布式设置下使用节点采样的图神经网络的小批量训练与推断，显著减少通信量，保持本地训练效率和可扩展性。实验表明，使用 SALIENT++ 在 8 个单 GPU 机器上训练 3 层 GraphSAGE 模型的速度比使用 SALIENT 在 1 个单 GPU 机器上快 7.1 倍，在 8 个单 GPU 机器上比使用 DistDGL 快 12.7 倍。