首页 > 其他 > 详细

Hadoop2.3.0 64bit小集群搭建

时间:2014-03-11 13:03:56      阅读:533      评论:0      收藏:0      [点我收藏+]

YARN的最新版修正了之前的不少bug,但是要搭建64位的平台环境,还是需要从source文件编译,经过一番实践学到些经验,大致给个提纲总结,详细搭建步骤可以网上找找或咨询作者。

 

编译还是不编译Hadoop取决于应用的平台和环境,Hadoop只提供了32bit的包和source文件,如果在64bit环境下就不得不自己编译(当然也可以下载我已经编译好的tar包)。编译环境,需要的工具有Java, maven, ant, protocol buffers, findbugs,当然要执行编译还需要cmake,gcc等等传统编译支持。安装这些,以及配置相应环境需要些细心和调试,冗繁但并不难。编译好的64位hadoop2.3.0大概在一百多M,有了这个我们可以开始准备安装YARN平台。

 

首先要明确的是,我们有一台master机器,和n台slave机器,分布式系统的模式,一台主控多台分工,那么在master和slave上都分别要安装好我们编译的64位hadoop2.3.0,很琐碎但也很重要的一点是每台机器都要装好Java环境,由于Java现在属于Oracle,从网站下载安装和配置需要花点时间。然后,更为重要的是,配置好hadoop的环境,这里面包括两点,一个是hadoop的环境变量,一个是hadoop的文件目录。目录就是要建立好大数据的存放地。环境变量有又两方面,一是系统环境里的path等等,一是hadoop本身的配置文件core-site.html、yarn等几个文件。

 

配置好这些后,在mater上开启namenode, resource manager, proxyserver, historyserver,在slaves上开启datanode, nodemanager,然后就是安装各种各样所需的数据处理工具了,如pig, mahout等等。

 

简介就是提纲携领,具体的操作步骤可以多尝试,都是不断锻炼升级的过程。网上有不少文章,但有些有坑大家要多加留意,还有一点hadoop更新还是蛮快的,你用0.20的方法装2.3是肯定不行的,即便很多2.3的文章,里面也是忘记了修改过去的操作步骤。给大家提个醒了。

Hadoop2.3.0 64bit小集群搭建,布布扣,bubuko.com

Hadoop2.3.0 64bit小集群搭建

原文:http://www.cnblogs.com/leoel/p/3589599.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!