MapReduce 特点
- 易于编程
- 良好的扩展性
- 高容错性：
某一结点挂了，会自动转移到其它结点计算 - 海量数据的离线处理
MapReduce 不擅长的场景
- 实时计算
- 流式处理
- DAG计算(A作业执行完执行B作业，B作业执行完执行C作业)
MR的局限，Spark的产生背景.PNG
MapReduce原理详解
需要补充的是 shuffle 中的排序到底干什么的？
首先要先明确 reducer 的功能，其实 reducer 的工作就是将多个 Mapper 的同一个 key 的数据进行汇总，那么在 shuffle 中 mapper 的输出经过 partition（对key hash后再以reduce task数量取模） 后按照键的顺序排好序有利于：
1.利用分区所在Mapper进行排序，Mapper越多,并行度越高,处理速度也快
2.有利于Mapper压缩合并数据,减少网络层传输
3.基于排序的数据，进行Shuffle时效率更高
4.Reduce基于排序数据合并更高效
