首页 > 其他 > 详细

spark部署模式

时间:2019-11-19 11:10:36      阅读:78      评论:0      收藏:0      [点我收藏+]

 

 

技术分享图片

 

 

 

yarn模式又分为yarn cluster模式和yarn client模式:

  • yarn cluster: 这个就是生产环境常用的模式,所有的资源调度和计算都在集群环境上运行。
  • yarn client: 这个是说Spark Driver和ApplicationMaster进程均在本机运行,而计算任务在cluster上。

用spark-submit命令提交时, 用--master yarn --deploy-mode cluster或者--master yarn --deploy-mode client




 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

spark部署模式

原文:https://www.cnblogs.com/gouhaiping/p/11887729.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!