第10章的代码-林子雨编著《大数据基础编程、实验和案例教程(第3版)》教材
内容提要
《大数据基础编程、实验和案例教程(第3版)》是林子雨编著的教材,提供了命令行和代码示例,涵盖了Flink和Maven的安装配置以及WordCount案例的编写和运行。
延伸解读
环境变量配置的常见陷阱
文章第146页的配置中,export FLNK_HOME=/usr/local/flink 存在拼写错误,正确应为 FLINK_HOME。若直接复制,会导致 PATH 变量引用错误,flink 命令无法找到。读者需注意检查变量名,避免因笔误导致后续步骤失败。
Maven 仓库配置的实用性
pom.xml 中配置了阿里云 Maven 仓库,这能显著加快国内下载依赖的速度。对于国内读者,这是一个实用的优化,避免了从中央仓库下载可能遇到的网络缓慢问题。
代码复制与运行的关键点
文章提供了完整的 WordCount 代码,但需注意 WordCount 类中 keyBy(0) 和 sum(1) 的用法在 Flink 新版本中可能已过时,建议使用 keyBy(0) 的 lambda 表达式或 KeySelector。运行前确保当前目录为 ~/flinkapp,否则路径错误。
Q&A
这本教材的主要内容是什么?
这本教材主要介绍大数据基础编程,包括Flink和Maven的安装配置,以及WordCount案例的编写和运行。
如何安装Flink?
安装Flink的步骤包括解压下载的文件、配置环境变量,并启动集群。
WordCount案例是如何实现的?
WordCount案例通过定义数据流、使用FlatMapFunction进行词频统计,并打印结果来实现。
Maven项目的pom.xml文件需要配置哪些依赖?
pom.xml文件需要配置Flink相关的库依赖,如flink-streaming-java、flink-clients和flink-java。
教材中提供了哪些代码示例?
教材中提供了WordCountData、WordCountTokenizer和WordCount类的实现代码示例。
教材中提到的命令行和代码有什么问题?
教材中的命令行和代码在纸质版中的印刷效果不佳,可能影响读者的理解。