首页 > 其他 > 详细

Spark集群部署以及应用

时间:2015-03-21 21:26:56      阅读:342      评论:0      收藏:0      [点我收藏+]

一、环境概述:

192.168.1.2 master

192.168.1.3 worker

192.168.1.4 worker


二、Scala环境设置

[root@master ~]# tar zxvf scala-2.10.4.tgz -C /home/hadoop/
[root@master ~]# cd /home/hadoop/
[root@master hadoop]# ln -s scala-2.10.4 scala
[root@master ~]# chown -R hadoop.hadoop /home/hadoop/
# Scala
export SCALA_HOME=/home/hadoop/scala
export PATH=$PATH:$HADOOP_DEV_HOME/sbin:$HADOOP_DEV_HOME/bin:$SCALA_HOME/bin
[root@master hadoop]# source /home/hadoop/.bashrc 
[root@master hadoop]# su - hadoop
[hadoop@master ~]$ scala
Welcome to Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_25).
Type in expressions to have them evaluated.
Type :help for more information.

scala> 

# slave1,slave2执行相同的操作

三、spark安装



Spark集群部署以及应用

原文:http://luojianlong.blog.51cto.com/4412415/1622837

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!