首页 > 其他 > 详细

spark-Day2

时间:2017-04-02 21:47:43      阅读:157      评论:0      收藏:0      [点我收藏+]

1、在虚拟机上安装IDE

首先将将scala-intellij-bin-1.4.15.zip移至虚拟机的用户主目录下

cd idea-IC-141.178.9/

打开idea ide

bin/idea.sh

开始设置ide:

ok->Darcula->Next:Default plugins->Start using intellij IDEA->Start using intellij IDEA

进入主界面点下面的Configure按钮中的Plugins-》Install plugin from disk

->ok

在主目录的scala-intellij-bin-1.4.15.zip下选ok->ok->ok->restart

2、新建工程

主界面选择 creat progject(填名字)->Scala->Scala->ok->ScalaSDK:creat->Browse(Scala2.10.4)->ok->ProjectSDK:New(1.7java version1.7.0.71)->ok

file->project Structure->Modules -> + ->src中创建main再在main下创建java、scala、resource,然后将java和scala分别右键点选source,将resource右键点选resource

再Libraries中添加java右键选第二个,找到主文件夹下的spark-1.4.0-bin-hadoop2.4下的lib中找到前五个jar包选中点ok再ok再ok,这样一个基本路径创建成功,

进入到刚刚创建的工程的src下的scala中右键点new->package(写名字)

在点刚创建好的package右键scala class,创建时将kind改为object

就可以进入的一个你刚刚创建的idea写入代码.

写好的代码可以在hdfs中打包运行。注意路径:1.hdfs://cloud01:9000/打包文件路径;2.spark://192.168.136.129:7077(此id为master所在路径)

3、打包运行

File中点projectStructure的Artifacts,+JAR右键From modules with...

找到 Main class中的文件后点ok

注意1.修改Output Layout为自己的主文件夹,不然运行hdfs是不好找打包的jar的路径

2.将jar中除了最后一个compile output包保留之外其他全部删除,避免运行缓慢,

设置后点选aplly然后点ok

回到idea中找到主界面的Build按钮点选Build Artifacts然后jar包点右键选Build,如果打包后修改代码就点Rebuild

4、hdfs中运行

在idea和hadoop集群还有spark打开的情况下

Ctrl+Alt+t打开新的终端输入:

cd ~/spark-1.4.0-bin-hadoop2.4

bin/spark-submit ~/你的jar包

即可运行

5、案例

 

spark-Day2

原文:http://www.cnblogs.com/Jenny89/p/6659888.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!