首页 > Windows开发 > 详细

在Windows上build Spark

时间:2014-11-13 19:15:37      阅读:287      评论:0      收藏:0      [点我收藏+]

在本机(Windows 8)上安装spark玩一玩,Spark的Quick Start上没有指明具体步骤,自己Build好了之后把步骤记录一下。

  1. 首先,到Spark的官网上下载Spark的压缩包,然后解压缩到本地文件夹。我下的是Spark 1.1.0,目前最新的release,链接spark-1.1.0.tgz

  2. 按照文档上运行bin/spark-shell,会提示找不到所需的jar包,需要重新build生成这个jar包。

  3. 首先确认本机是否已安装Scala和SBT,scala需要2.10.x版本,sbt我用的是0.13,如果没有安装的就从网上下载安装。将sbt的bin添加到windows path环境变量下,确保可以运行。

  4. 到Spark的root目录下,运行sbt package,这会将spark所有依赖的lib下载到本地的ivy repository(sbt默认使用ivy repository)

  5. 第四步成功完成之后,spark依赖的库已经具备,运行sbt assembly,这会将spark依赖的库和spark本身assemble成一个很大的jar包。这步完成后,你会在assembly\target\scala-2.10下找到spark-assembly-1.1.0-hadoop1.0.4.jar, spark-assembly_2.10-1.1.0.jar这两个jar包

上述步骤完成之后,就可以在bin下运行spark-shell,可以成功进入shell,进行操作。


在Windows上build Spark

原文:http://my.oschina.net/u/1452001/blog/344067

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!