小令童鞋
·
Flink SQL 优化
💡
原文中文，约4700字，阅读约需12分钟。
📝
内容提要
本文介绍了 FlinkSQL 的优化技巧，包括设置空闲状态保留时间、开启 MiniBatch、开启 LocalGlobal 优化、开启 Split Distinct 优化和使用 FILTER 语法。这些技巧可以提高 FlinkSQL 的性能和效率，但需要注意一些细节和限制。
🎯
关键要点
- 设置空闲状态保留时间以防止状态爆炸，使用 TTL 或 interval join 清理未更新状态。
- 开启 MiniBatch 以减少对 State 的访问，提高吞吐量，适合聚合场景。
- LocalGlobal 优化将聚合分为本地和全局两阶段，减少数据倾斜，提高性能。
- 开启 Split Distinct 优化以解决 COUNT DISTINCT 的热点问题，支持自动打散功能。
- 使用 FILTER 语法优化多维 DISTINCT 统计，减少状态大小和访问次数。
➡️
