首页 > 其他 > 详细

Intellij编译Spark on Yarn源码注意事项

时间:2014-09-03 21:19:57      阅读:319      评论:0      收藏:0      [点我收藏+]

默认是1.0.4,需设置指定Hadoop版本:

在${SPARK_HOME}/pom.xml中的<id>yarn</id>改为

<profile>
      <id>yarn</id>
      <properties>
        <hadoop.major.version>2</hadoop.major.version>
        <hadoop.version>2.2.0</hadoop.version>
        <yarn.version>2.2.0</yarn.version>
        <protobuf.version>2.5.0</protobuf.version>
      </properties>
      <modules>
        <module>yarn</module>
      </modules>
    </profile>

导入时候选yarn

Intellij编译Spark on Yarn源码注意事项

原文:http://blog.csdn.net/cklsoft/article/details/39032715

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!