Flink2.3.0安装和使用指南(2026年10月版本)
内容提要
本指南介绍在Ubuntu 24.04上安装使用Flink 2.3.0,需先安装JDK 17和Hadoop 3.5.0。步骤包括:解压安装包至/usr/local、配置环境变量、启动集群并验证进程、运行自带WordCount样例、用Maven编写打包自定义WordCount程序(含数据源、分词器、主类及pom.xml),最后通过flink run提交并在Web界面查看结果。
延伸解读
环境依赖与版本匹配
文章明确指出安装Flink 2.3.0前需先安装JDK 17和Hadoop 3.5.0,且Flink安装包为flink-2.3.0-bin-scala_2.12.tgz。这意味着Flink 2.3.0与Scala 2.12绑定,且要求Java 17环境。若读者已有其他Java版本或Hadoop版本,需注意兼容性,避免因版本不匹配导致启动失败。
本地模式与配置调整
Flink本地模式开箱即用,但文章提到可通过修改conf/flink-conf.yaml中的env.java.home参数来指定Java路径。这提示读者若系统默认Java版本与Flink要求不符,可在此显式配置。此外,启动后需用jps确认TaskManagerRunner和StandaloneSessionClusterEntrypoint进程存在,这是验证集群启动成功的关键步骤。
自定义WordCount的打包与提交
文章详细展示了用Maven构建自定义WordCount程序的流程,包括编写三个Java类、配置pom.xml(指定Flink 2.3.0依赖和Java 17编译)、使用maven-shade-plugin打包可执行JAR。提交时需用flink run指定主类,并确保当前目录为项目根目录。这为读者从样例过渡到自主开发提供了完整参考。
结果查看与任务管理
运行自带或自定义WordCount后,可通过Flink Web界面(localhost:8081)查看结果。文章指导在Task Managers页面点击对应链接,再进入Stdout查看输出。这提醒读者,Flink的批处理任务输出默认打印到TaskManager的标准输出,需通过Web界面获取,而非直接显示在提交终端。
Q&A
安装Flink 2.3.0之前需要先安装哪些软件?
需要先安装JDK 17和Hadoop 3.5.0。
如何启动和停止Flink集群?
启动Flink集群:进入Flink安装目录,执行./bin/start-cluster.sh。停止Flink集群:执行./bin/stop-cluster.sh。
如何验证Flink是否启动成功?
执行jps命令,如果能看到TaskManagerRunner和StandaloneSessionClusterEntrypoint这两个进程,就说明Flink启动成功。
Flink的Web管理页面地址是什么?
Flink的Web管理页面地址是http://localhost:8081。
如何运行Flink自带的WordCount示例?
在Flink安装目录下创建mydata子目录,并在其中创建word.txt文件输入英文句子。然后执行命令:./bin/flink run ./examples/streaming/WordCount.jar --input ./mydata/word.txt --output ./mydata。
编写自定义WordCount程序需要哪些步骤?
主要步骤包括:安装Maven、编写代码(WordCountData.java、WordCountTokenizer.java、WordCount.java)、使用Maven打包Java程序、通过flink run命令运行程序。
如何用Maven打包自定义WordCount程序?
在应用程序根目录(如~/flinkapp)下,执行命令:/usr/local/maven/bin/mvn package。如果输出包含“BUILD SUCCESS”,则说明JAR包成功生成。
如何提交自定义WordCount程序到Flink运行?
启动Flink后,在应用程序根目录执行命令:/usr/local/flink/bin/flink run --class cn.edu.xmu.WordCount ./target/wordcount-1.0.jar。
在哪里查看WordCount程序的词频统计结果?
可以访问Flink Web管理页面(http://localhost:8081),单击左侧的“Task Managers”,在页面中单击“Path,ID”下面的链接,然后在新页面中单击“Stdout”即可查看词频统计结果。