京东广告研发——效率为王:广告统一检索平台实践
内容提要
京东广告检索平台是一个在线广告检索系统,通过算力分配和优化实现了业务收益最大化。系统采用分布式执行图和算子化设计等技术,解决了海量数据和有限算力之间的矛盾。通过深度学习和层次索引提升了召回和评分准确性和效率。具备快速稳定的迭代能力,助力京东广告业务的发展。
延伸解读
算力分配:从局部优化到全局最优
文章指出,各模块独立优化并不等于系统整体算力最优。京东广告检索系统通过分布式执行图,基于数据依赖将算子分为无依赖、局部依赖和全部依赖,实现自动并行调度。这种架构突破了物理服务边界,在搜索广告场景中节省检索耗时超过16%,为管理数十万核CPU提供了基础。
弹性系统:从稳定优先到收益最大化
京东广告弹性系统经历了两个阶段:初期用PID控制维持CPU稳定,后期转向利用闲置算力提升收益。系统通过调整召回队列长度,在安全边界内最大化单位算力期望收益。但价值评估函数仍较简单,且尚未应用于大促,未来需精细化评估并扩展至大促场景。
检索目标对齐:从CTR到eCPM的转化
广告系统以eCPM评估广告,而检索常以CTR为目标,目标不一致会损失整体收益。京东通过向量修饰,仅增加一维数据即可将检索目标从最大化CTR转化为最大化eCPM,使ANN检索结果与系统目标对齐。这降低了模型重训成本,提升了单位算力收益。
迭代效率:配置化与实验平台支撑快速迭代
面对每年超500次发布和600+次代码合并,京东广告检索平台采用业务分层和算子化设计,将业务与系统研发解耦。配置三要素建模和一站式管理支持一键AB实验,每个算子可并行20+实验,日常实验容量超400,满足近300人团队快速迭代需求。
Q&A
京东广告检索平台的主要功能是什么?
京东广告检索平台的主要功能是为用户检索出相关的广告,确保广告与用户需求的有效匹配。
京东广告检索系统如何解决算力与海量数据之间的矛盾?
系统通过算力分配、算力优化和提升迭代效率来解决算力与海量数据之间的矛盾。
京东广告检索平台的迭代能力如何?
平台具备快速稳定的迭代能力,支持分钟级别的广告信息更新,并通过一站式配置管理简化研发流程。
京东广告检索系统如何提升广告推荐的准确性?
系统通过深度学习和层次索引技术来提升广告召回和评分的准确性与效率。
京东广告检索平台的算子化设计有什么优势?
算子化设计将复杂业务拆分为多个算子,提升了系统的健壮性和可维护性。
京东广告检索系统如何管理超数十万核CPU?
系统通过分布式执行图实现全局算力最优解,确保平台的稳定性和高效性。