首页 > 其他 > 详细

全分布式的Hadoop虚拟机安装

时间:2014-02-13 22:20:53      阅读:473      评论:0      收藏:0      [点我收藏+]

在集群环境下装机、配置、运行的全过程,梳理总结到本文中。

第一部分:环境规划

?用户 hadoop 密码 hadoop
?机器
机器名称 IP地址
Master.Hadoop 192.168.1.100
Salve1.Hadoop 192.168.1.101
Salve2.Hadoop 192.168.1.102
Salve3.Hadoop 192.168.1.103
    上述四个节点上均是CentOS6.4系统,并且有一个相同的用户hadoopMaster机器主要配置NameNode和JobTracker的角色,负责总管分布式数据和分解任务的执行;3个Salve机器配置DataNode和TaskTracker的角色,负责分布式数据存储以及任务的执行。
 
修改机器名称:vi /etc/sysconfig/network
HOSTNAME=Master.Hadoop
 
其他Slave1、2、3同样配置
 
修改Hosts:
vi /etc/hosts

192.168.1.100 Master.Hadoop

192.168.1.101 Slave1.Hadoop

192.168.1.102 Slave2.Hadoop

192.168.1.103 Slave3.Hadoop

          
           
第二部分:安装JDK并配置环境变量
安装 JDK 并配置环境变量
 
?2 台机器做同样的事情
?更改执行权限
?chmod +x jdk-6u24-linux-i586.bin
?安装
?./jdk-6u24-linux-i586.bin
?配置环境变量
?Home路径下,打开.bashrc文件,命令如下
?vi /etc/profile
?添加JAVA环境变量
?export JAVA_HOME=/usr/local/java
?export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile
 
 
第三部分:建立互信配置SSH
配置互信
每台机器上执行
$ ssh-keygen
$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   Master.Hadoop
$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   Salve1.Hadoop
$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   Salve2.Hadoop
$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   Salve3.Hadoop
             
      
第四部分:安装Hadoop并配置环境变量
安装并配置Hadoop的环境变量
?解压Hadoop,到/usr/local路径下
? tar zxvf hadoop-1.1.2.tar.gz
?建立软连接
?ln –s   hadoop-1.1.2  hadoop
?配置环境变量
?vi  /etc/profile
?添加如下内容
          export HADOOP_HOME=/usr/local/hadoop
          export PATH=.:$HADOOP_HOME/bin:$PATH
source /etc/profile
 
 
第五部分:配置Hadoop集群
core-site.xml
<configuration>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
<description>hadoop 的运行临时文件的主目录</description>
</property>

<property>
<name>fs.default.name</name>
<value>hdfs://Master.Hadoop:9000</value>
</property>
<property>
</configuration>
 
hdfs-site.xml
<configuration>
<property>
      <name>dfs.replication</name>
        <value>3</value>
</property>
</configuration>
  
mapred-site.xml
<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>Master.Hadoop:9001</value>
</property>
</configuration>
master与slaves
?master
     文件添加内容如下
                   Master.Hadoop
?    Slaves
     文件添加内容如下
                    Slave1.Hadoop
                    Slave2.Hadoop
                    Slave3.Hadoop
Hadoop-env.sh
?export JAVA_HOME=/usr/local/java
 
第六部分:启动Hadoop集群
启动Hadoop集群
?hadoop namenode -format
?start-all.sh
?start-dfs.sh start-mapred.sh
?hadoop-deamon.sh start  namenode
                                              datanode
                                              jobtracker
                                              tasktracker
                                              sencondnamenode
  
第七部分:测试WordCount 程序 
测试WordCount 程序
?hadoop fs –mkdir input
?hadoop fs –put test.txt input
?hadoop jar  hadoop-examples-*.jar   wordcount  input output

全分布式的Hadoop虚拟机安装

原文:http://www.cnblogs.com/teeup/p/3548050.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!