MapReduce架构组成
Hadoop1.x版本架构组成的 JobTracker/TaskTracker 机制需要大规模的调整来修复它在可扩展性,内存消耗严重,可靠性和性能上都有缺陷。所以引进了新的Hadoop2.x的架构--基于Yarn的架构
术语解读
- ResourceManager:Yarn的资源管理器,负责管理和分配集群的资源,如内存、cpu、磁盘等
- NodeManager:Yarn的节点管理器,负责管理和监控每个节点的计算容器(Container),管理Container的生命周期、监控每一个Container的资源使用情况、追踪节点健康状况,与ResourceManager保持通信。
- ApplicationMaster:应用管理器,负责监控单个作业整个生命周期的任务进度和状况,向resourcemanager发送心跳检查。
- Hdfs:分布式文件系统,用与上述不同实体之间文件的共享
MapReduce基本执行过程
执行过程大致是以下几步:1、作业的提交(图中1~4步骤) 2、作业的初始化(图5~7) 3、作业的分配(图8~10) 4、作业的执行(图11) 5、作业进度的更新 6、作业的完成或者失败
图片上我都说的比较清楚了,再补充几点:
- 检查作业说明是指输出目录是否存在,如果存在那么久不提交,会报错
- 计算输入分片是根据block块的大小决定的,如1G文件,而HDFS设置中block size是128M,那么久分为8个输入分片,每个分片是一个单独的Map任务。
- Uber作业是指比较小的作业,这种作业,就和自己在同一个容器中就可以了,map reduce都在同一个容器,而如果是比较大的作业,是要申请资源的,首先为map申请,map达到百分之5的时候为reduce申请。
- 任务是一个java应用 main class是YarnChild
MapReduce Shuffle
MapReduce Combiner
每一个map可能会产生大量的输出,combiner的作用就是在map端对输出先做一次合并,以减少传输到reducer的数据量。
combiner最基本是实现本地key的归并,combiner具有类似本地的reduce功能。
如果不用combiner,那么,所有的结果都是reduce完成,效率会相对低下。使用combiner,先完成的map会在本地聚合,提升速度。
注意:Combiner的输出是Reducer的输入,Combiner绝不能改变最终的计算结果。所以从我的想法来看,Combiner只应该用于那 种Reduce的输入key/value与输出key/value类型完全一致,且不影响最终结果的场景。比如累加,最大值等。
解释一下
问:为什么使用Combiner?
21 * 答:Combiner发生在Map端,对数据进行规约处理,数据量变小了,传送到reduce端的数据量变小了,传输时间变短,作业的整体时间变短。
22 *
23 * 问:为什么Combiner不作为MR运行的标配,而是可选步骤哪?
24 * 答:因为不是所有的算法都适合使用Combiner处理,例如求平均数。
25 *
26 * 问:Combiner本身已经执行了reduce操作,为什么在Reducer阶段还要执行reduce操作哪?
27 * 答:combiner操作发生在map端的,处理一个任务所接收的文件中的数据,不能跨map任务执行;只有reduce可以接收多个map任务处理的数据。