Spark Core
原文中文,约38200字,阅读约需91分钟。发表于: 。Spark Core 是 Apache Spark 的核心模块,提供了对分布式内存计算和数据处理的基础支持,基于 RDD(Resilient Distributed Dataset)这一基本数据抽象,实现了高效的并行计算和容错机制。通过 SparkContext 与集群交互,DAG Scheduler 和 Task Scheduler 调度任务执行,Block Manager...
本文介绍了Spark Core的基本功能和应用场景,RDD的特性和转换算子和行动算子的使用,共享变量的使用方法和原理,内核调度和DAG的作用,宽窄依赖和内存迭代计算的优势,并行度设置和Shuffle阶段的工作原理,以及任务调度和层级关系。