第10章的代码-林子雨编著《大数据基础编程、实验和案例教程(第3版)》教材

💡 原文中文,约5800字,阅读约需14分钟。
📝

内容提要

《大数据基础编程、实验和案例教程(第3版)》是林子雨编著的教材,提供了命令行和代码示例,涵盖了Flink和Maven的安装配置以及WordCount案例的编写和运行。

🔎

延伸解读

环境变量配置的常见陷阱

文章第146页的配置中,export FLNK_HOME=/usr/local/flink 存在拼写错误,正确应为 FLINK_HOME。若直接复制,会导致 PATH 变量引用错误,flink 命令无法找到。读者需注意检查变量名,避免因笔误导致后续步骤失败。

Maven 仓库配置的实用性

pom.xml 中配置了阿里云 Maven 仓库,这能显著加快国内下载依赖的速度。对于国内读者,这是一个实用的优化,避免了从中央仓库下载可能遇到的网络缓慢问题。

代码复制与运行的关键点

文章提供了完整的 WordCount 代码,但需注意 WordCount 类中 keyBy(0) 和 sum(1) 的用法在 Flink 新版本中可能已过时,建议使用 keyBy(0) 的 lambda 表达式或 KeySelector。运行前确保当前目录为 ~/flinkapp,否则路径错误。

❓

Q&A

这本教材的主要内容是什么?

这本教材主要介绍大数据基础编程,包括Flink和Maven的安装配置,以及WordCount案例的编写和运行。

如何安装Flink?

安装Flink的步骤包括解压下载的文件、配置环境变量,并启动集群。

WordCount案例是如何实现的?

WordCount案例通过定义数据流、使用FlatMapFunction进行词频统计,并打印结果来实现。

Maven项目的pom.xml文件需要配置哪些依赖?

pom.xml文件需要配置Flink相关的库依赖,如flink-streaming-java、flink-clients和flink-java。

教材中提供了哪些代码示例?

教材中提供了WordCountData、WordCountTokenizer和WordCount类的实现代码示例。

教材中提到的命令行和代码有什么问题?

教材中的命令行和代码在纸质版中的印刷效果不佳,可能影响读者的理解。

🏷️

标签

➡️

继续阅读