降低基于磁盘的 GNN 训练中的内存争用和 I/O 拥塞
原文中文,约300字,阅读约需1分钟。发表于: 。GNNDrive 通过综合的缓冲区管理和异步特征提取策略来最小化内存占用,避免内存和 I/O 的竞争,并充分利用软件和硬件资源。实验证明 GNNDrive 在 Papers100M 数据集上训练 GraphSAGE 模型时,比 SoTA PyG+、Ginex 和 MariusGNN 分别快 16.9 倍、2.6 倍和 2.7 倍。
本研究提出了高效的ML框架PyGim,通过加速GNNs解决了内存密集型核心的数据移动瓶颈。在比特尔至强CPU上,PyGim的性能提升了3.04倍,资源利用率也更高。该研究为软件、系统和硬件设计者提供了有价值的建议,并开源PyGim以推动PIM系统在GNNs中的应用。