代码-第3章 大数据实验环境搭建-林子雨编著《Spark编程基础（Python版，第2版）》
内容提要
《Spark编程基础（Python版，第2版）》是由厦门大学林子雨编著的教材，提供了命令行和代码，可直接复制粘贴执行。内容包括安装配置Hadoop、创建HDFS目录、运行MapReduce作业、配置Kafka和安装Anaconda等。
延伸解读
环境搭建的两种模式：单机与集群
文章展示了从单机伪分布式到多节点集群的完整配置流程。单机模式只需修改core-site.xml和hdfs-site.xml，设置副本数为1；集群模式则需配置三台主机（hadoop01、hadoop02、hadoop03），设置副本数为3，并指定SecondaryNameNode地址。读者应根据实际硬件资源选择模式，避免在单机上套用集群配置导致启动失败。
配置文件修改的关键点
core-site.xml中fs.defaultFS指定HDFS通信地址，单机为hdfs://localhost:9000，集群为hdfs://hadoop01:9000；hadoop.tmp.dir定义临时目录。hdfs-site.xml中dfs.replication决定数据副本数，单机设为1，集群设为3。yarn-site.xml需指定ResourceManager主机和shuffle服务。修改后需格式化namenode并启动相应服务。
组件安装的依赖关系与顺序
文章按Hadoop、MySQL、Kafka、Anaconda的顺序给出安装步骤。Hadoop依赖Java环境，需先配置JAVA_HOME；Kafka依赖Zookeeper，需先启动Zookeeper再启动Kafka；Anaconda用于创建Python虚拟环境，为后续Spark编程准备。读者应遵循此顺序，避免因依赖缺失导致组件无法运行。
集群分发与同步的注意事项
配置集群时，需将hadoop01的Hadoop安装目录打包分发到hadoop02和hadoop03，并确保各节点配置文件一致。文章使用scp传输压缩包，并在目标节点解压、修改权限。此外，需配置SSH免密登录，通过生成密钥并分发公钥实现。操作前应删除旧的临时文件和日志，防止冲突。
Q&A
如何安装和配置Hadoop？
安装Hadoop的步骤包括创建用户、安装OpenSSH、配置Java环境、解压Hadoop文件并修改文件权限等。
Hadoop的核心配置文件有哪些？
Hadoop的核心配置文件包括core-site.xml和hdfs-site.xml，需要根据具体需求进行修改。
如何在Hadoop中运行MapReduce作业？
在Hadoop中运行MapReduce作业需要使用命令行执行相应的jar文件，并指定输入输出目录。
Kafka的安装步骤是什么？
Kafka的安装步骤包括启动Zookeeper和Kafka服务器，创建Topic等。
如何安装Anaconda？
Anaconda的安装步骤包括下载安装脚本并运行，配置channels等。
这本教材提供了哪些实用的命令行和代码？
教材提供了所有章节的命令行和代码，可以直接复制粘贴执行，涵盖Hadoop、MapReduce、Kafka和Anaconda等内容。
