曹操出行基于 Hologres+Flink 的实时数仓建设
💡
原文中文，约8000字，阅读约需19分钟。
📝
内容提要
曹操出行是吉利控股集团的战略性投资业务，提供网约车、顺风车和专车等多种出行服务。他们使用了曹操平台进行订单派发和支付。通过使用Hologres+Flink，他们实现了架构清晰简单、开发效率提高、运维体验提升和成本减少的成果。未来展望包括集群稳定性和可靠性、任务级别的动态感知和智能调控、统一ODS入仓方案和数据服务规划等。
🎯
关键要点
- 曹操出行是吉利控股集团的战略性投资业务，提供多种出行服务。
- 曹操出行的使命是科技重塑绿色共享出行，致力于打造服务口碑最好的出行品牌。
- 业务流程包括用户下单、订单派发、司机履约和乘客支付。
- 数据流转涉及营销、订单、派单、风控、支付等系统，最终用于实时分析和决策。
- 传统lambda架构存在研发成本高、运维效率低和资源成本大的问题。
- 曹操出行希望通过统一组件和高效数据链路来解决实时数仓的痛点。
- Hologres具备丰富的业务场景能力和一站式实时开发能力，支持高并发和低时延。
- Hologres的存储架构结合了行存和列存的优势，优化了数据存储和查询性能。
- 实时数仓架构设计通过Binlog和Flink实现数据的实时流转和处理。
- DWD宽表构建实践关注维表的应用场景和维表延迟问题。
- 聚合计算场景优化通过构建MapSumAgg算子和动态配置化Grouping Sets来提高灵活性。
- 链路中吞吐能力调优通过引入Union层和lag开窗方式来提高数据处理效率。
- 元数据血缘改造通过Flink Catalog集成和Kafka的版本管理来优化数据处理能力。
- 链路保障体系通过流量监控和延迟监控实现全链路的感知能力。
- 数据订正能力建设通过Hologres实现数据的透明订正，减少对下游的影响。
- 整体架构清晰简单，开发效率提高，运维体验提升，成本减少。
- 未来展望包括集群稳定性、动态感知和智能调控、统一ODS入仓方案和数据服务规划。
➡️
