spark为什么比mapreduce快？
原文中文，约1000字，阅读约需3分钟。
📝
内容提要
Spark比MapReduce快的原因有：DAG计算模型减少磁盘I/O次数，加快shuffle速度，支持数据缓存，采用多线程模型。
🎯
关键要点
-
Spark和MapReduce都基于内存计算，但Spark的速度并非仅因这一点。
-
DAG计算模型减少了磁盘I/O次数，而不是shuffle次数。
-
DAG可以连续进行多个map和reduce操作，减少落盘次数。
-
Spark在shuffle时优化了排序，只有部分场景需要排序，从而加快了shuffle速度。
-
Spark支持数据缓存，减少了重复计算的时间，适合迭代计算的机器学习算法。
-
MapReduce采用多进程模型，Spark采用多线程模型，后者减少了任务启动的时间开销。
❓
延伸问答
Spark比MapReduce快的主要原因是什么？
Spark比MapReduce快的原因包括DAG计算模型减少磁盘I/O次数、优化shuffle速度、支持数据缓存以及采用多线程模型。
DAG计算模型如何影响Spark的性能？
DAG计算模型允许连续进行多个map和reduce操作，减少了落盘次数，从而降低了磁盘I/O。
Spark在shuffle过程中有哪些优化？
Spark在shuffle时仅在部分场景下进行排序，避免了MapReduce中默认的排序，从而加快了shuffle速度。
Spark如何支持数据缓存？
Spark支持将需要反复使用的数据进行缓存，从而减少重复计算的时间，提高迭代计算的效率。
MapReduce和Spark在任务模型上有什么不同？
MapReduce采用多进程模型，而Spark采用多线程模型，后者减少了任务启动的时间开销。
Spark的多线程模型有什么优缺点？
Spark的多线程模型可以减少任务启动时间，但可能导致资源争用，难以细粒度控制每个任务的资源占用。
🏷️
