面向动态图的极低时延 GNN 推理采样服务
💡
原文中文，约3800字，阅读约需9分钟。
📝
内容提要
阿里云机器学习平台PAI团队和达摩院智能计算实验室图计算团队共建的工业界大规模图神经网络训练框架GraphLearn最新开源了面向动态图的GNN在线推理实时采样服务(DGS)，该服务具备处理实时高吞吐图更新的能力，并能保证低时延、高并发的推理采样查询处理。
🎯
关键要点
- GraphLearn是阿里云PAI团队与达摩院图计算团队共建的大规模图神经网络训练框架。
- GraphLearn最新开源了面向动态图的GNN在线推理实时采样服务DGS，具备高吞吐和低时延的能力。
- GNN模型通过图结构表征高阶邻域信息，邻域采样降低通信和计算开销。
- 动态图的结构和属性随着时间动态变化，GNN模型需实时采样以表征动态信息。
- 实时推理任务需极低时延，DGS在分布式环境下保证P99延迟在20毫秒以内。
- 实时图采样服务面临邻居采样复杂性、数据分布不均和多跳采样开销等挑战。
- DGS通过存算分离、事件驱动预采样和多跳拆解等关键设计解决实时采样问题。
- DGS采用订阅-发布机制和读写隔离以优化多跳采样的延迟和稳定性。
- DGS系统核心组件包括Sampling Worker和Server Worker，支持弹性扩缩容。
- 实验表明，DGS在真实数据集上保持推理请求延迟在20ms以内，具备线性扩展能力。
🏷️
标签
➡️
