小令童鞋
·
Flink资源调优
原文中文，约2600字，阅读约需7分钟。
📝
内容提要
本文简要介绍了Flink的内存和并行度设置，包括TaskManager内存模型、JVM特有内存、框架内存、网络内存和管理内存，以及flink-conf.yml设置、env级别设置、客户端级别设置和算子级别设置。合理的内存和并行度设置可以提高数据处理效率。
🎯
关键要点
-
Flink的内存设置包括TaskManager内存模型、JVM特有内存、框架内存、网络内存和管理内存。
-
TaskManager内存模型使用堆上内存和堆外内存，框架内存不计入slot资源。
-
JVM特有内存包括metaspace和执行开销，默认配置为256mb和0.1的比例。
-
Flink框架内存的堆内和堆外内存默认分别为128mb。
-
TaskManager内存用于执行用户代码，堆内和堆外内存的默认配置分别为none和0。
-
网络内存用于数据交换，堆外内存的默认配置为0.1的比例。
-
管理内存用于RocksDB状态后端和中间结果的管理，默认配置为0.4的比例。
-
并行度设置与具体作业强关联，默认并行度为5。
-
可以通过flink-conf.yml、环境级别、客户端级别和算子级别设置并行度。
-
算子级别的并行度设置优先级最高，覆盖其他级别的配置。
-
合理的并行度设置可以提高数据处理效率，特别是在source和Sink等环节。
🏷️
