首页 > 其他 > 详细

Ubuntu 12.04 上使用Hadoop 2.2.0 四 Multi-node cluster 基本设置

时间:2014-02-23 15:00:10      阅读:412      评论:0      收藏:0      [点我收藏+]

这次准备多台虚拟机来安装分布式Hadoop.  官方文档:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html

Hadoop的节点分为两大类:masters和slaves。

masters 必须是分开(exclusively)的两台机器:NameNode 和 ResourceManager,

slaves 包含了DataNode和NodeManager,文档上没有说一定必须互斥。

下面是YARN的架构图, 里面没有NodeManager, YARN只是Hadoop体系的一部分,此图没有包含HDFS。

HDFS的信息参考:https://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/Federation.html

bubuko.com,布布扣


现在安装hadoop,做一些基本配置,由于前面已经自己编译了64 bit的Hadoop,现在可以拿来用了。

首先准备一个虚拟机Ubuntu 12.04.4 server,  host name: hd1, IP: 192.168.1.71

然后参考Ubuntu 12.04 上使用Hadoop 2.2.0 一 用户权限设置

做相应的设置。不过不要下载hadoop的安装包,只要将编译好的64 bit的复制到/usr/local目录下即可。

然后参考Ubuntu 12.04 上使用Hadoop 2.2.0 二 配置single node server

设置好环境变量,修改/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件后,推出再用hduser登录。

这篇文章中提到要修改下面这个文件,但是我不确定,先放在这里记录,暂时不用修改:

Add JAVA_HOME to libexec/hadoop-config.sh at beginning of the file
hduser@solaiv[~]#vi /opt/hadoop-2.2.0/libexec/hadoop-config.sh
….
export JAVA_HOME=/usr/local/jdk1.6.0_18
….


创建hadoop使用的临时目录

mkdir $HADOOP_INSTALL/tmp

后面会逐步创建各个server,都会从这个VM克隆。



Ubuntu 12.04 上使用Hadoop 2.2.0 四 Multi-node cluster 基本设置

原文:http://blog.csdn.net/csfreebird/article/details/19695123

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!