首页 > 其他 > 详细

高效搭建Spark完全分布式集群

时间:2014-07-14 17:17:44      阅读:375      评论:0      收藏:0      [点我收藏+]

写在前面一:

本文详细总结Spark分布式集群的安装步骤,帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。

bubuko.com,布布扣

写在前面二:

使用软件说明

bubuko.com,布布扣

约定,Spark相关软件存放目录:/usr/local/yujianxin/spark,

Hadoop相关软件存放目录: /home/yujianxin/hadoop。

Spark集群示意图

bubuko.com,布布扣

一、具体安装步骤

1、安装jdk

2、安装Hadoop集群,参考http://blog.csdn.net/aaronhadoop/article/details/24867257

3、安装 Scala

cd /usr/local/yujianxin/spark/

tar -zxvf scala-2.9.3.tgz

修改/etc/profile

bubuko.com,布布扣

4、安装Spark

4.1、修改/etc/profile

cd /usr/local/yujianxin/spark/

tar -zxvf spark-0.7.2-prebuilt-hadoop1.tgz

bubuko.com,布布扣

4.2、配置Spark

4.2.1、修改配置文件spark-env.sh

cd /usr/local/yujianxin/spark/spark-0.7.2/conf

cp spark-env.sh.template spark-env.sh

vi spark-env.sh

bubuko.com,布布扣

4.2.2、修改配置文件slaves

bubuko.com,布布扣

至此,master节点上的Spark已配置完毕。把master上Spark相关配置copy到slave1、slave2中,注意,三台机器spark所在目录必须一致,因为master会登陆到worker上执行命令,master认为worker的spark路径与自己一样。

二、安装测试

2.1、测试1——通过命令行

cd $SPARK_HOME/bin

start-all.sh

bubuko.com,布布扣

bubuko.com,布布扣



2.2、测试2——通过浏览器

bubuko.com,布布扣






高效搭建Spark完全分布式集群,布布扣,bubuko.com

高效搭建Spark完全分布式集群

原文:http://blog.csdn.net/aaronhadoop/article/details/37757639

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!