yarn架构图
yarn的功能模块
- ResourceManager
- NodeManager
- ApplicationMaster
- Container
各个功能模块的作用
ResourceManager
- 处理客户端的请求(启动/杀死)
- 启动/监控ApplicationMaster(一个作业对应一个AM)
- 监控NM
- 系统的资源分配和调度
NodeManager
- 定期向RM汇报本节点的资源使用请求和各个Container的运行状态
- 接收并处理RM的container启停的各种命令
- 单个节点的资源管理和任务管理
ApplicationMaster
- 数据切分
- 为应用程序向RM申请资源(container)，并分配给内部任务
- 与NM通信以启停task， task是运行在container中的
- task的监控和容错
Container
- 对任务运行情况的描述：cpu、memory、环境变量
YARN执行流程
- 用户向YARN提交作业
- RM为该作业分配第一个container(启动AM)
- RM会与对应的NM通信，要求NM在这个container上启动应用程序的AM
- AM首先向RM注册，然后AM将为各个任务申请资源，并监控运行情况
- AM采用轮训的方式通过RPC协议向RM申请和领取资源
- AM申请到资源以后，便和相应的NM通信，要求NM启动任务
- NM启动我们作业对应的task
