首页 > 其他 > 详细

.Spark基于Standalone提交任务两种方式

时间:2019-07-21 19:08:48      阅读:180      评论:0      收藏:0      [点我收藏+]
  • Standalone-client模式:

1、client模式提交任务后,会在客户端启动Driver进程
2、Driver会向Master申请启动Application启动的资源
3、资源申请成功,Driver端将task发送到worker端执行
4、worker将task执行结果返回到Driver端
技术分享图片

 

 

技术分享图片

  • Standalone-master模式:

1、cluster模式提交应用程序后,会向Master请求启动Driver.(而不是启动application)
2、Master接受请求,随机在集群一台节点启动Driver进程
3、Driver启动后为当前的应用程序申请资源。Master返回资源,并在对应的worker节点上发送消息启动Worker中的executor进程
4、Driver端发送task到worker节点上执行
5、worker将执行情况和执行结果返回给Driver端。Driver监控task任务,并回收结果

技术分享图片

 

 

技术分享图片

.Spark基于Standalone提交任务两种方式

原文:https://www.cnblogs.com/xiangyuguan/p/11221939.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!