基于图遍历的Flink任务画布模式下零代码开发实现方案
原文中文,约2500字,阅读约需6分钟。发表于: 。提交一个DataSteam 的 Flink应用,需要经过 StreamGraph、JobGraph、ExecutionGraph 三个阶段的转换生成可成执行的有向无环图(DAG),并在 Flink 集群上运行。而提交一个 Flink SQL 应用,其执行流程也类似,只是多了一步使用模块从SQL转换成 StreamGraph 的过程。以下是利用Flink的 StreamGraph...
本文介绍了Flink应用的提交流程,包括StreamGraph、JobGraph和ExecutionGraph的转换。通过低代码方式生成StreamGraph,实现Flink程序的零代码开发。采用画布模式组装程序,使用BFS算法遍历构建有向无环图,并在MySQL中持久化算子和边的信息。实际实现中需考虑更多信息存储及自定义算子的支持。