降低基于磁盘的 GNN 训练中的内存争用和 I/O 拥塞
内容提要
本文介绍了多种高效的图神经网络（GNN）训练方法，如DiskGNN、SmartSAGE和PyGim，旨在解决大规模GNN训练中的存储和内存限制问题。这些方法通过优化数据访问和减少通信，提高了训练速度和效率，显著提升了模型性能。实验结果表明，这些新框架在多个基准数据集上实现了显著加速，为未来GNN系统设计提供了有价值的建议。
延伸解读
从磁盘到内存：GNN训练瓶颈的演变
文章梳理了多个系统，它们分别针对GNN训练中不同层次的瓶颈。早期FlashGraph利用SSD和半外部存储处理图算法，而DiskGNN通过离线采样提升I/O效率。随后，SmartSAGE和PyGim转向基于存储器的处理架构，试图在硬件层面缓解数据移动。这些方案表明，随着图规模增长，瓶颈从磁盘I/O逐渐转向内存带宽和通信，系统设计需要权衡存储容量与访问速度。
加速比差异背后的场景依赖
文中各系统的加速比从3.7倍到392倍不等，这并非直接可比。GIDS的392倍提升针对的是GPU优先训练中数据加载的优化，而DistGNN的3.7-97倍则是在CPU集群上通过减少通信实现。SALIENT++在8台单GPU机器上比DistDGL快12.7倍，但对比基准不同。读者需注意，这些数字依赖于特定硬件配置、数据集和基线系统，实际部署时应根据自身环境评估。
分布式训练中的通信优化策略
DistGNN使用共享内存和延迟更新算法避免通信，GraNNDis通过共享预加载、扩展感知采样和合作批处理减少通信与内存压力，SALIENT++则基于节点包含概率设计缓存策略来降低通信量。这些方法共同指向一个趋势：在分布式GNN训练中，减少节点间通信比单纯提升单机算力更关键。但文章未讨论这些策略对模型收敛性的潜在影响，实际应用时需关注精度变化。
硬件新范式：近内存与GPU直连存储
PyGim利用PIM（内存内处理）系统加速GNN，解决数据移动瓶颈，在至强CPU上平均提升3.04倍；PyTorch-Direct引入GPU-centric数据访问，缩短数据传输时间并减少CPU资源占用。这些方案反映了将计算靠近数据的思路，但PIM和GPU直连存储对硬件有特定要求，可能限制其普适性。文章提到PyGim将开源，这有助于推动该方向的验证与普及。
Q&A
DiskGNN 系统如何提高 GNN 训练的效率？
DiskGNN 通过离线采样实现高 I/O 效率和快速训练，性能提高超过 8 倍，同时保持模型准确性。
SmartSAGE 是什么，它解决了什么问题？
SmartSAGE 是一种基于存储器的处理架构，旨在解决大规模 GNN 训练中的存储和内存限制问题。
GIDS 数据加载器的主要优势是什么？
GIDS 数据加载器优化了图嵌入和采样，实现了 GPU 优先训练，训练加速最高可达 392 倍。
DistGNN 如何实现 CPU 集群上的批量训练？
DistGNN 使用共享内存实现完全批量训练，减少通信需求，获得 3.7 倍到 97 倍的加速。
PyGim 框架的主要贡献是什么？
PyGim 框架在 PIM 系统中加速 GNN，解决数据移动瓶颈，性能提升平均 3.04 倍。
基于 VIP 驱动的缓存策略有什么优势？
该策略显著减少通信量，保持本地训练效率和可扩展性，提升了训练速度。
