首页 > 其他 > 详细

Mac OS部署Hadoop注意事项

时间:2014-03-11 12:00:30      阅读:407      评论:0      收藏:0      [点我收藏+]

Mac OS版本:10.9.1

Hadoop版本:2.2.0

 

部署过程参考了 http://www.micmiu.com 中的大量资料,原作者写的非常清晰,感恩。

1、hadoop-env.sh中需要配置JAVA_HOME,否则可能会引用到不是你所期望的JAVA环境;

2、start-dfs.sh失败,原因是官方部署包中只有32位的native 库,需要自己手工编译64位库;

3、编译native库花了较长时间,采用maven编译,首次使用maven会进行大量下载,

    遇到下载不流畅的情况,可以Ctrl + C中断然后继续;

4、编译之前需要安装cmake, protoc;

5、如果本机没有/usr/include,可通过执行xcode-select install安装;

6、Mac OS推荐安装brew,进一步可以安装wget,谁用谁知道;

7、官方2.2.0源码包有3个bug,一个是已知问题,需要patch HADOOP-9648.v2.patch,

    第二个是hadoop-auth/pom.xml中需要新增org.mortbay.jetty对jetty-util的依赖项,

    第三个是自己遇到的,编译hdfs时失败,核查DEBUG信息,发现是posix_util.c无法找到PATH_MAX定义,

    PATH_MAX是在/usr/include/sys/syslimits.h中定义的,在posix_util.c中#include <limits.h>即可;

8、编译完成后,将编译出的native库,替换官方包里的原有native库即可;

9、库替换完成后,再次启动start-dfs.sh,仍然发现namenode/datanode没有启动,此时需要重新format hdfs;

Mac OS部署Hadoop注意事项,布布扣,bubuko.com

Mac OS部署Hadoop注意事项

原文:http://www.cnblogs.com/W3C/p/3589797.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!