DiskGNN：为离核 GNN 训练提供 I/O 效率和模型准确性的桥接
内容提要
本文介绍了多种图神经网络（GNN）训练优化技术，如GPU Initiated Direct Storage Access (GIDS)、DistGNN和BatchGNN。这些方法显著提高了训练速度和效率，在大规模图数据上实现了高达392倍的加速，解决了存储和通信问题，推动了GNN的可扩展性和性能提升。
延伸解读
从GIDS到CoFree-GNN：优化思路的演进
文章列举的多种GNN训练优化技术，反映了该领域从不同角度解决可扩展性问题的思路。GIDS通过GPU直接访问存储来加速数据加载，DistGNN利用共享内存减少通信，BatchGNN则通过减少冗余特征提取提升CPU集群效率。这些方法分别针对I/O、通信和计算等瓶颈，后续的GraNNDis、CATGNN和CoFree-GNN进一步在通信、分区和训练机制上创新，体现了GNN训练优化从局部到系统层面的演进。
加速比差异背后的场景依赖性
文中提到的加速比从3倍到392倍不等，如GIDS最高392倍，DistGNN为3.7到97倍，BatchGNN平均3倍，CoFree-GNN最多10倍。这些数字差异巨大，主要源于各自针对的瓶颈和测试环境不同：GIDS优化数据加载，在I/O受限场景收益显著；DistGNN减少通信，在CPU集群上效果突出。读者需注意，加速比并非直接可比，实际效果取决于图规模、硬件配置和训练任务。
大规模图训练的关键挑战与应对
文章多次提及存储容量、内存限制和通信开销是大规模GNN训练的主要挑战。SmartSAGE针对存储和内存问题提出基于存储器的处理架构；CATGNN通过流式分区算法处理十亿规模图；CoFree-GNN则通过无通信训练避免通信瓶颈。这些方案表明，随着图规模增长，单一优化往往不足，需要结合分区、采样、通信协议等多方面技术，才能实现可扩展的高效训练。
Q&A
GPU Initiated Direct Storage Access (GIDS) 的主要功能是什么？
GIDS 主要用于解决图嵌入和采样问题，实现大规模图的 GPU 优先训练，训练加速最高可达 392 倍。
DistGNN 如何提高 GNN 训练的效率？
DistGNN 通过使用共享内存实现 CPU 集群上的完全批量训练，获得了 3.7 倍到 97 倍的加速。
BatchGNN 的优势是什么？
BatchGNN 通过减少冗余特征提取和缓存聚合输入特征，平均速度加快了 3 倍，适用于千兆字节级别的图形训练。
GraNNDis 是如何解决大图训练中的通信问题的？
GraNNDis 通过共享预加载、扩展感知采样和合作批处理技术，解决了大图和深层训练中的通信和内存问题。
DistDGL 系统的主要特点是什么？
DistDGL 是基于 Deep Graph Library 开发的分布式 GNN 训练系统，具有高效和可扩展性，能在 16 台机器上训练 100 万节点和 30 亿边数的图只需 13 秒。
CoFree-GNN 如何加速训练过程？
CoFree-GNN 通过实现无通信训练，利用顶点切分分区和修正的 DropEdge 技术，使训练速度最多提高 10 倍。
