内容提要
该文章介绍了基于大规模图框架的外卖广告应用,通过多场景异构大图建模解决了搜索推荐业务中的挑战,同时介绍了GraphET引擎的训练和推理框架建设。未来研究方向包括通用Graph模型建设、领域大图构建和加速图引擎以及更大规模图的在线推理框架。
延伸解读
外卖广告召回的特殊挑战
与通用推荐不同,外卖广告召回受LBS限制,供给分布不均。文章指出,无供给区域需联动流量运营,高供给区域靠关键词和向量召回提效,弱供给区域则用搜索推荐填充。这种分层自循环体系针对的是用户搜索意图不明确、供给受限的流量,目标是在弱供给下提升匹配效率和变现能力。
图技术为何适合多场景建模
搜索推荐覆盖前导购、SUG、结果页等多个异构场景,传统向量模型难以统一。图结构能表达异构节点和高阶关系,通过关系聚合缓解小场景样本少、稀疏节点难表征的问题。文章提出多场景异构大图统一建模,并引入动态图在线刻画用户需求演变,以应对多渠道和即时化挑战。
GraphET引擎的工程突破
面对亿节点百亿边规模,开源框架难以兼顾内存和速度。GraphET采用Worker和Parameter Server架构,将图结构存于共享内存,特征存于PS,支持显存/内存/SSD多级存储。通过三级流水线、SSD聚合读和对象池等优化,实现了端到端训练和在线推理,支撑了业务落地。
在线推理的显存与并发解法
图模型基于DGL+Pytorch,无法转TorchScript,只能Python部署,但GIL限制并发。GraphET在线框架用主进程+多子进程架构,主进程调度,子进程推理。通过模型拆分,将节点Embedding放内存、Dense参数放显存,大幅提升子进程部署数量,并统一通信协议支持策略快速迭代。
Q&A
外卖广告系统的召回阶段面临哪些挑战?
外卖广告系统的召回阶段面临用户搜索意图不明确和供给受限制的挑战。
如何通过图技术解决外卖广告的搜索推荐问题?
通过构建多场景异构大图,图技术能够统一建模异构多场景,提高弱供给匹配效率,解决稀疏节点表征问题。
GraphET引擎的主要功能是什么?
GraphET引擎支持大规模图的训练和推理,满足工业界对图学习的需求。
未来的研究方向包括哪些内容?
未来研究方向包括通用Graph模型建设、领域大图构建和加速图引擎以及更大规模图的在线推理框架。
多场景异构大图的构建过程是怎样的?
多场景异构大图的构建经历了从单场景精细化建模到多场景统一的大图预训练和下游任务微调的迭代过程。
图神经网络的演进主要包括哪些范式?
图神经网络的演进主要包括无监督范式、消息传递范式等,未来将朝向多任务统一方向发展。