Spark Core
原文中文，约38200字，阅读约需91分钟。
📝
内容提要
本文介绍了Spark Core的基本功能和应用场景，RDD的特性和转换算子和行动算子的使用，共享变量的使用方法和原理，内核调度和DAG的作用，宽窄依赖和内存迭代计算的优势，并行度设置和Shuffle阶段的工作原理，以及任务调度和层级关系。
❓
Q&A
Spark Core 的主要功能是什么？
Spark Core 是 Apache Spark 的核心模块，提供分布式内存计算和数据处理的基础支持。
RDD 的特性有哪些？
RDD 的特性包括不可变性、可分区性和支持并行计算。
如何创建 RDD？
RDD 可以通过并行化集合或读取外部数据源（如文件）来创建。
Spark 中的转换算子和行动算子有什么区别？
转换算子是懒加载的，返回值仍是 RDD；行动算子会触发计算，返回非 RDD 的结果。
DAG 在 Spark 中的作用是什么？
DAG 描述了 Spark 作业的各个阶段及其依赖关系，是任务调度和执行的核心。
Spark 的并行度应该如何设置？
建议将并行度设置为 CPU 核心数的 2 到 10 倍，以提高任务执行效率。
🏷️
