使用Flink完成流数据统计 | 京东云技术团队
原文中文,约3600字,阅读约需9分钟。
📝
内容提要
流计算包括接入数据源、数据转换和计算结果存储。Flink程序的基本单元是stream和transformation。常见操作有map、flatMap、filter、keyBy、aggregate、reduce、join、connect。常见窗口有Time Window和Count Window。Flink支持处理时间、事件时间和提取时间。设置时间戳和Watermarks后,进行数据分组、指定时间窗口和聚合计算。聚合计算需要实现AggregateFunction接口。自定义统计触发器可解决数据延迟问题。
🏷️