代码-第4章 Flink环境搭建和使用方法-林子雨编著《Flink编程基础(Java版)》
内容提要
《Flink编程基础(Java版)》教材提供了命令行和代码,可直接复制粘贴执行。教材包括WordCountData.java、WordCountTokenizer.java和WordCount.java等文件。还提供了清空pom.xml文件的内容和一些命令行操作。
延伸解读
环境变量配置的常见陷阱
文章中的环境变量配置存在拼写错误:export FLNK_HOME 应为 FLINK_HOME,否则 PATH 设置无效。此外,HADOOP_CLASSPATH 使用反引号执行 hadoop classpath,需确保 Hadoop 已正确安装。读者在复制命令时应注意检查变量名,避免因笔误导致 Flink 命令无法找到。
从单机到集群的部署要点
文章展示了单机模式和集群模式的搭建步骤。集群模式中,需要修改 flink-conf.yaml 指定 jobmanager.rpc.address 和 taskmanager.host,并配置 masters 和 workers 文件。分发安装包时,使用 scp 复制到其他节点,并注意修改各节点的 taskmanager.host 为对应主机名。
YARN 部署模式的三种方式
文章介绍了在 YARN 上运行 Flink 的三种模式:yarn-session 会话模式、yarn-per-job 和 yarn-application。会话模式需先启动 yarn-session,再提交作业;per-job 模式直接提交作业;application 模式则通过 run-application 提交。读者可根据作业隔离性和资源管理需求选择合适模式。
历史服务器配置与使用
文章提供了 Flink 历史服务器的配置,包括 jobmanager.archive.fs.dir 和 historyserver.archive.fs.dir 指向 HDFS 目录,以及刷新间隔。启动历史服务器后,可通过 8082 端口查看已完成作业的详细信息。注意需先创建 HDFS 目录,并确保 Hadoop 集群已启动。
Q&A
Flink环境搭建需要哪些步骤?
Flink环境搭建包括下载Flink、解压、配置环境变量、修改配置文件、启动集群等步骤。
WordCountData.java的作用是什么?
WordCountData.java用于提供原始数据,包含一组字符串供后续处理使用。
如何在Flink中运行WordCount示例?
可以使用命令 './bin/flink run examples/streaming/WordCount.jar' 来运行WordCount示例。
pom.xml文件在Flink项目中有什么作用?
pom.xml文件配置了项目的基本信息和依赖,确保项目能够正确构建和运行。
如何配置Flink的历史服务器?
配置Flink的历史服务器需要设置相关参数,如jobmanager.archive.fs.dir和historyserver.web.address等。
WordCountTokenizer.java是如何工作的?
WordCountTokenizer.java用于切分句子,将输入的字符串分解为单词并输出单词及其计数。