阿里云云栖号

阿里云云栖号 -

流批一体的近实时数仓的思考与设计

基于对数据时间旅行的思考,引出了对目前三种数仓形态和两种数仓架构的思考。结合数据湖在 Flink 的应用和数据湖元数据类型的思考,探索了基于数据湖的 Flink SQL 流批一体的实践,在流批一体 SQL 表达一致、结果一致性、流批任务分离、混合调度依赖等进行了设计和探索。

本文探讨了离线、近实时、实时三种数仓在时间维度下的成因和Lambda、Kappa架构在时间维度下的取舍。同时,提出了基于实时数仓的确定性问题,探讨了数仓一体的可行性思考。文章认为,基于离线数仓的思考,结果的确定性是很重要的,同时要保证计算结果同离线数仓的一致性。最终的任务运行方式同时包含三种:实时模式、离线模式、业务模式,分别对应着不同的数据准确性级别。基于 Flink 和数据湖的流批一体近实时数仓设计示例,需要解决如下问题:Flink 任务支持批量计算能力要持续不断的加强,如何使用同一份 Flink SQL,既可以用于批任务调度,又可以用于流任务运行呢,批任务的调度和流任务的计算如何分离,流任务的 Insert into 如何实现主键写入,流批任务的调度依赖。

Flink 实时 数仓 数据湖 离线

相关推荐 去reddit讨论

热榜 Top10

观测云
观测云
eolink
eolink
Dify.AI
Dify.AI
LigaAI
LigaAI

推荐或自荐