MapReduce

MapReduce是一种分布式计算编程框架，核心思想是“先分后合”：将数据切片分发至Map任务处理，相同分区的数据交由同一Reduce任务合并输出。其优点是易于编程、易于扩展、容错性高，适合PB级海量数据的离线处理；缺点是不擅长实时计算、流式计算和DAG计算，因中间结果落盘产生大量IO，且要求数据源是静态的。