1、基本概念:分而治之
Job&Task
JobTacker
TaskTracker
一个job会被拆成多个task,会有maptask和reducetask
MapReduce容错机制
1、重复执行 4次
2、推测执行:有一个TaskTracker执行很慢,会推测遇到问题,并且重新开启一个TaskTracker来执行同样的任务,谁先完成则关闭另外一个。
2、yarn--资源管理器
ResourceMangager
分配调度资源
启动并监控ApplicationMaster
监控NodeManager
ApplicationMaster
为MR类型的程序申请资源,并分配给内部任务
负责数据切分
监控任务的执行及容错
NodeManager
管理单个节点的资源
处理来自ResourceManager的命令
处理来自ApplicationMaster的命令