首页 > 其他 > 详细

spark1.2.0版本搭建伪分布式环境

时间:2015-02-10 02:10:51      阅读:285      评论:0      收藏:0      [点我收藏+]

、下载scala2.11.5版本,下载地址为:http://www.scala-lang.org/download/2.11.5.html

2、安装和配置scala:

第一步:上传scala安装包 并解压

bubuko.com,布布扣

bubuko.com,布布扣

第二步 配置SCALA_HOME环境变量到bash_profile

bubuko.com,布布扣

第三步 source 使配置环境变量生效:

bubuko.com,布布扣

第四步 验证scala:

bubuko.com,布布扣

3、下载spark 1.2.0,具体下载地址:http://spark.apache.org/downloads.html

4、安装和配置spark:

第一步 ?解压spark:

bubuko.com,布布扣

bubuko.com,布布扣

第二步 配置SPARK_HOME环境变量:

bubuko.com,布布扣

?

第三步 使用source生效:

bubuko.com,布布扣

?

进入spark的conf目录:

第四步 修改slaves文件,首先打开该文件:

bubuko.com,布布扣

bubuko.com,布布扣

slaves修改后:

bubuko.com,布布扣

第五步 配置spark-env.sh

首先把spark-env.sh.template拷贝到spark-env.sh:

bubuko.com,布布扣

然后 打开“spark-env.sh”文件:

bubuko.com,布布扣

spark-env.sh文件修改后:

bubuko.com,布布扣

5、启动spark伪分布式帮查看信息:

第一步 先保证hadoop集群或者伪分布式启动成功,使用jps看下进程信息:

bubuko.com,布布扣

如果没有启动,进入hadoop的sbin目录执行 ./start-all.sh

第二步 启动spark:

进入spark的sbin目录下执行“start-all.sh”:

bubuko.com,布布扣

此刻 我们看到有新进程“Master” 和"Worker"

我们访问“http://master:8080/”,进如spark的web控制台页面:

bubuko.com,布布扣

从页面上可以看到一个Worker节点的信息。

?

我们进入spark的bin目录,使用“spark-shell”控制台:

bubuko.com,布布扣

bubuko.com,布布扣

通过访问"http://master:4040",进入spark-shell web控制台页面:

bubuko.com,布布扣

?

6、测试spark伪分布式:

我们使用之前上传到hdfs中的/data/test/README.txt文件进行mapreduce

取得hdfs文件:

bubuko.com,布布扣

对读取的文件进行一下操作:

bubuko.com,布布扣

?

使用collect命令提交并执行job:

readmeFile.collect

bubuko.com,布布扣

?

查看spark-shell web控制台:

bubuko.com,布布扣

?

states:

bubuko.com,布布扣

端口整理:

master端口是7077

master webui是8080

spark shell webui端口是4040

spark1.2.0版本搭建伪分布式环境

原文:http://stark-summer.iteye.com/blog/2184548

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!