首页 > 系统服务 > 详细

Linux64位操作系统(CentOS6.6)上如何编译spark1.3

时间:2015-07-15 02:10:30      阅读:225      评论:0      收藏:0      [点我收藏+]

1.在官网下载1.3.0源码后执行如下命令:

./make-distribution.sh --tgz --skip-java-test --with-tachyon -Dhadoop.version=2.4.0 -Djava.version=1.7 -Dprotobuf.version=2.5.0 -Pyarn -Phive -Phive-thriftserver

?

2.参数说明:

  • --tgz 生成部署包;
  • --skip-java-test 滤过测试阶段;
  • --with-tachyon 感觉tachyon是趋势,所以加上tachyon的支持;
  • -Dhadoop.version 指定hadoop的版本,默认为1.0.4;
  • -Djava.version 指定java版本,默认是1.6;
  • -Dprotobuf.version 指定protobuf的版本,默认是2.4.1;这里指定是因为hadoop使用的2.5.0,不修改的话搭配的时候会出问题;
  • -Pyarn -Phive -Pthriftserver 分别加入yarn、hive的支持。

3.一个多小时后出现BUILD SUCCESS,即编译成功,可在spark-1.3.0文件夹中找到编译的文件。

Linux64位操作系统(CentOS6.6)上如何编译spark1.3

原文:http://liyong0802.iteye.com/blog/2227240

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!