首页 > 其他 > 详细

Spark

时间:2017-09-15 20:50:50      阅读:275      评论:0      收藏:0      [点我收藏+]

安装jdk

下载spark安装包

解压

 

重点来了:

 配置 spark:

   进入 conf   ----》  

spark-env.sh.template文件

cd conf/

mv spark-env.sh.template spark-env.sh

vi spark-env.sh

 

     添加: 

  

在该配置文件中添加如下配置

export JAVA_HOME=/usr/java/jdk1.7.0_45

export SPARK_MASTER_IP=acm01       //Master 的地址

export SPARK_MASTER_PORT=7077

 

     修改slaves

   acm02

   acm03

     scp -r  spark /    acm:/      拷贝到其他主机上

 

然后启动集群:

      /usr/local/spark-1.5.2-bin-hadoop2.6/sbin/start-all.sh

 

  查看jps,  主节点 Master进程   worker进程

 spark管理界面:

   http://acm01:8080/

Spark

原文:http://www.cnblogs.com/toov5/p/7528344.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!