首页 > 其他 > 详细

5、1 部署

时间:2018-10-11 01:16:25      阅读:168      评论:0      收藏:0      [点我收藏+]

spark job部署模式

Spark job部署模式
------------------
    spark job的部署有两种模式,client和cluster
    spark-submit .. --deploy-mode client | cluster

    1.client
        默认值,driver运行在client端主机上。
        spark-submit --class com.oldboy.spark.mr.TaggenJava2 --master spark://s101:7077 --deploy-mode cluster hdfs://s101/user/centos/data/myspark.jar /user/centos/data/tags.txt

    2.cluster
        driver运行在某个worker节点上。客户端值负责提交job。
        $>spark-submit --class com.oldboy.spark.mr.TaggenJava2 --master spark://s101:7077 --deploy-mode cluster hdfs://s101/user/centos/data/myspark.jar /user/centos/data/tags.txt
        

 

5、1 部署

原文:https://www.cnblogs.com/lybpy/p/9769918.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!