首页 > 其他 > 详细

Hadoop 1.1.2分布式安装过程 (vmware10+centeros5.4 64位+hadoop1.1.2+ securecrt)

时间:2014-04-23 04:03:00      阅读:532      评论:0      收藏:0      [点我收藏+]

Hadoop 1.1.2分布式安装过程  (vmware10+centeros5.464位+hadoop1.1.2+ securecrt)

 

安装环境

虚拟机:vmware10

操作系统:centeros5.4 64位

Hadoop版本:hadoop1.1.2

Securecrt7.0.0

jdk-7u51-linux-x64.gz

 

 

1       虚拟机环境配置

 

1.1在win7系统安装虚拟机vmware10,并在此虚拟机上安装centeros5.4(64位)。

 

1.2利用刚才的虚拟机再克隆两个虚拟机,名字分别为namenode、back1、back2,,如下图所示。

bubuko.com,布布扣


1.3修改hosts文件配置

 

1.3.1修改namenode的/home/hosts文件如下:

bubuko.com,布布扣

 

1.3.2修改back1、back2的/home/hosts如下

bubuko.com,布布扣

bubuko.com,布布扣

 

 

 

 

1.4利用securecrt 连接namenode,如下图所示

bubuko.com,布布扣

 

 

1.5新建一个用户xu,并设置密码

bubuko.com,布布扣

 

 

1.6在back1和back2上面进行同样的操作,都建立xu用户

bubuko.com,布布扣

bubuko.com,布布扣

 

 

 

1.7设置namenode与 back1、back2机器之间ssh无密钥访问

 

1.7.1 在namenode节点生成密钥对,并将公钥复制到back1和back2节点上

bubuko.com,布布扣

 

1.7.2 在back1和back2节点同样生成密钥对,复制到namenode节点上

bubuko.com,布布扣

bubuko.com,布布扣

 

 

 

 

1.7.3 在namenode节点执行如下命令

bubuko.com,布布扣

 

1.7.4 在back1 和 back2 节点分别执行如下命令

bubuko.com,布布扣

bubuko.com,布布扣

 

 

 

 

1.7.5 确保相互之间可以无密码ssh连接

bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣

 

 

 

1.8 关闭三个节点namenode、back1和back2的防火墙

bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣

 

2       安装java虚拟机

2.1分别在三个节点安装java虚拟机, 我安装的是jdk-7u51-linux-x64.gz

bubuko.com,布布扣



 

2.2设置三台机器的java环境变量

bubuko.com,布布扣


 

 

3       配置hadoop的配置文件:

3.1 修改hadoop-env.sh文件

bubuko.com,布布扣


 

3.2 修改core-site.xml文件

bubuko.com,布布扣

 

3.3 修改hdfs-site.xml文件

bubuko.com,布布扣

 

 

3.4 修改mapred-site.xml

bubuko.com,布布扣

 

 

3.5修改masters和slaves文件

bubuko.com,布布扣

bubuko.com,布布扣

 

 

 

 

3.6 并将配置好的hadoop-1.1.2拷贝到back1和back2安装节点。

 

 

3.7格式化文件系统:

bubuko.com,布布扣

 

 

 

3.8启动守护进程:

bubuko.com,布布扣

 

4       检查安装结果

 

4.1检查守护进程启动情况

bubuko.com,布布扣

 

 

 

 

4.2检查back1节点启动的进程

bubuko.com,布布扣

 

 

4.3检查back2的启动进程

bubuko.com,布布扣

 

 

4.4通过界面访问测试是否成功:

bubuko.com,布布扣

bubuko.com,布布扣

 

 

 

5       运行hadoop程序验证结果

 例子来源:cookbook P54

bubuko.com,布布扣

 

 

Hadoop 1.1.2分布式安装过程 (vmware10+centeros5.4 64位+hadoop1.1.2+ securecrt),布布扣,bubuko.com

Hadoop 1.1.2分布式安装过程 (vmware10+centeros5.4 64位+hadoop1.1.2+ securecrt)

原文:http://blog.csdn.net/adermxl/article/details/24327057

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!