京东零售数据资产能力升级与实践

💡 原文中文,约18300字,阅读约需44分钟。
📝

内容提要

该文章介绍了京东在数据处理和应用方面的技术和策略,包括加速引擎、物化策略和融合服务。京东还优化了数据存算成本,提升了数据应用的效率和体验。此外,京东在移动端交互、多端一体建设和低代码平台方面也有所工作。最后,文章提到了京东在数据智能和大模型应用方面的挑战和解决方案,以及数据智能应用的价值和评估体系。

🔎

延伸解读

数据资产治理:从找表难到统一语言

京东零售数据模型超过80万张,存在大量临时表、无效表,用户找模型、理解模型困难。文章提出通过数据统一语言,基于维度建模三阶段(概念、逻辑、物理模型)形成标准定义,并推进资产认证与治理。目前已认证模型近3000张,资产需求覆盖率84%以上。这启示我们,数据资产治理需从生产到消费端到端优化,提升标准化程度,才能降本增效。

指标中台:解决口径歧义与存算成本

指标散落在BI、数据产品、ETL中,导致口径歧义和存算不受控。京东构建指标中台,通过统一查询语言、智能寻址拆分、多级缓存等技术,实现指标开发与共享效率提升。日均指标消费频次从百万级增长到数千万,看板搭建从天级缩短到小时级。这表明,指标中台能有效解决数据孤岛、标准一致性和实时性问题,并降低对研发资源的依赖。

可视化与低代码:提升分析效率与体验

京东自研基于图形语法的可视化组件,支持杜邦分析、异动分析等,并构建低代码编排系统,实现看板配置化。结合数据推送能力,大促期间推送战报7220封,80%需求24小时内交付。移动端通过多端一体建设,提升用户体验。这些实践说明,低代码与可视化结合能大幅降低研发成本,快速响应业务变化,推动“人人都是分析师”。

大模型应用:智能问答与数据分析

京东基于大模型构建chatBI,通过Prompt工程、本地SFT和指标统一DSL,替代传统NL2SQL,提升查询准确率。单次查询时效降至7.8秒,并支持描述性、探索性分析。同时建立评测体系保障准确性。这表明,大模型能降低数据获取门槛,扩展数据消费规模,但需结合业务知识、本地化训练和持续评估,才能应对复杂数据场景。

❓

Q&A

京东在数据处理方面采取了哪些技术和策略?

京东采用了加速引擎、物化策略和融合服务等技术和策略来提升数据处理效率。

京东如何优化数据存算成本?

京东通过提升数据应用效率和体验,结合主动元数据的口径定义和动态决策,优化了数据存算成本。

京东在移动端交互方面有哪些建设?

京东在移动端交互方面进行了多端一体建设和低代码平台的开发,以提升用户体验。

京东面临哪些数据智能应用的挑战?

京东面临数据智能和大模型应用的挑战,包括数据查询效率和准确性等问题。

京东如何提升数据指标的开发与共享效率?

京东通过构建标准化的数据模型和指标中台,显著提升了数据指标的开发与共享效率。

京东的智能问答系统chatBI有什么优势?

chatBI结合AIGC技术,提升了数据分析的准确率,并解决了数据语言转换的难题。

🏷️

标签

➡️

继续阅读