首页 > 其他 > 详细

yarn的job提交流程

时间:2020-06-16 13:24:12      阅读:38      评论:0      收藏:0      [点我收藏+]

1,客户端想RM申请一个application。

2,RM向客户端返回一个资源提交路径和一个application_id。

3,客户端提交资源,资源包含job.xml和job.split和jar包。

4,资源提交完成后,申请运行AppMaster。

5,RM将客户端请求,生成一个task,放入任务队列中,等待执行。

6,当轮到该任务执行时,会有一台NM领取到该task。

7,NM向RM申请资源,RM分配container容器给NM,启动appMaster。

8,NM下载该任务的资源到本地。

9,appMr 向RM申请运行mapTask任务。

10,分配container给NM,

11,appMr 分配启动脚本给NM,NM启动mapTask任务。

12,当mapTask任务执行完后,appMr向RM申请容器,运行reduceTask任务。

13,reduceTask向mapTask拉去区分区数据处理。

 

yarn的job提交流程

原文:https://www.cnblogs.com/gaoshanmuxue/p/13139882.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!