小令童鞋
·
Flink数据倾斜理解
💡
原文中文，约1900字，阅读约需5分钟。
📝
内容提要
数据倾斜是指数据分布不均，导致算子压力过大，影响包括单点问题、频繁GC、吞吐下降、延迟增大和系统崩溃。解决方法包括调整并发度、添加随机前缀打散key分布、预聚合和两阶段聚合。SQL样例中通过给分组的key添加随机数打散数据，然后求各个分组的pv值并求和。注意随机数的范围不能太大或太小。
🎯
关键要点
- 数据倾斜是指数据分布不均，导致算子压力过大。
- 数据倾斜影响包括单点问题、频繁GC、吞吐下降、延迟增大和系统崩溃。
- 定位数据倾斜的方法包括Flink Web UI反压监控和Flink Task Metrics。
- 解决数据源消费不均匀的方法是调整并发度。
- 通过添加随机前缀打散key分布，可以解决key分布不均匀的问题。
- 在统计场景中，使用两阶段聚合（加盐局部聚合+去盐全局聚合）来处理数据倾斜。
- SQL示例中，通过给分组的key添加随机数打散数据，求各个分组的pv值并求和。
- 注意随机数的范围不能太大或太小，以避免增加checkpoint压力或无法有效打散数据。
➡️
