Ubuntu下Hadoop MapReduce集群搭建以及程序运行

记得上学期有门课程就是MapReduce,在顺利通过之后，还是决定好好整理一下，方便日后用到，同时也能跟大家分享交流一下。

具体的步骤和过程如下所示：

一、创建Hadoop用户

~$ sudo addgroup hadoop 
~$ sudo adduser --ingroup hadoop hadoop

~$ sudo gedit /etc/sudoers
# Members of the admin group may gain root privileges
%admin ALL=(ALL) ALL
hadoop ALL=(ALL) ALL

注：以下操作，都是在hadoop用户下完成的。同时，集群中的每一台机器都要创建这样的Hadoop用户，并且都是在这样的用户下进行如下操作。
二、配置好JAVA环境

详细过程可以参考：http://blog.csdn.net/jojozhangju/article/details/19475835

注：每一台机器，都要配置好Java环境。不过，话说这部分我的集群上的集群是1个64位3个32位，而且一个是jdk1.7其它的多是openjdk，结果事实证明，没有问题出现。大家可以根据自己的实际情况进行调整。

三、修改/etc/hosts文件

~$ sudo gedit /etc/hosts   

127.0.0.1	  localhost
192.168.1.102   zhangju-ThinkPad-T420
192.168.1.107   jojo-Thinkpad-R60
192.168.1.100   ubuntu
192.168.1.104   zhaohui-ThinkPad-X230

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

注：所有的集群上的机器都需要关闭防火墙：

~$ sudo ufw disable   

~$ sudo apt-get install ssh

执行

$ netstat  -nat

测试：

ssh localhost

注：这种默认安装方式完后，默认配置文件是在/etc/ssh/目录下。sshd配置文件是：/etc/ssh/sshd_config，在所有机子都需要安装ssh。     
安装之后：

~$ cd /home/hadoop 
~$ ssh-keygen -t rsa

~$ cd .ssh
~$ ls
~$ cp id_rsa.pub  authorized_keys

~$ ssh localhost

第一次ssh会有提示信息：

     The authenticity of host ‘node1 (10.64.56.76)’ can’t be established.
     RSA key fingerprint is 03:e0:30:cb:6e:13:a8:70:c9:7e:cf:ff:33:2a:67:30.
     Are you sure you want to continue connecting (yes/no)?

输入 yes 来继续。这会把该服务器添加到你的已知主机的列表中发现链接成功，并且无需密码。

复制authorized_keys到集群其他机器上，为了保证主节点可以无需密码自动登录到其他机器，先在其他机器上执行：

~$ su hadoop
~$ cd /home/hadoop
~$ ssh-keygen -t rsa

然后回到主节点，复制authorized_keys到其他集群的机器上：

~$ cd /home/hadoop/.ssh
~$ scp authorized_keys   node1.2.3.....n:/home/hadoop/.ssh/

~$ sudo chmod 644 authorized_keys

~$ sudo wget http://apache.mirrors.tds.net//hadoop/common/hadoop-0.20.203.0/hadoop-0.20.203.0rc1.tar.gz

~$ tar -zxvfhadoop-0.20.203.0rc1.tar.gz

1.安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。并且安装路径要一致，如果我们用HADOOP_HOME指代安装的根路径，通常，集群里的所有机器的HADOOP_HOME路径相同。

2.如果集群内机器的环境完全一样，可以在一台机器上配置好，然后把配置好的软件即hadoop-0.20.203整个   文件夹拷贝到其他机器的相同位置即可。

3.可以将Master上的Hadoop通过scp拷贝到每一个Slave相同的目录下，同时根据每一个Slave的Java_HOME 的不同修改其hadoop-env.sh 。

4.为了方便，使用hadoop命令或者start-all.sh等命令，修改Master上/etc/profile 新增以下内容： 
   export HADOOP_HOME=/home/hadoop/hadoop-0.20.203
   exportPATH=$PATH:$HADOOP_HOME/bin
   修改完毕后，执行source /etc/profile 来使其生效。 

conf/core-site.xml

<strong><?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>
 <name>fs.default.name</name>
  <value>hdfs://192.168.1.102:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
 <value>/home/hadoop/tmp</value>
</property> 

</configuration></strong>

<strong><?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>
  <name>mapred.job.tracker</name>
  <value>192.168.1.102:9001</value>
</property>
<!--<property>
  <name>mapred.local.dir</name>
 <value>/home/hadoop/hadoop_home/var</value>
</property> -->

</configuration></strong>

<strong><?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<!--<name>dfs.name.dir</name>
<value>/home/hadoop/name1, /home/hadoop/name2</value> #hadoop的name目录
<description>  </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/data1, /home/hadoop/data2</value>
<description> </description>
</property>
<property> -->
  <name>dfs.replication</name>
  <!-- 我们的集群有四个结点，所以rep两份 -->
  <value>4</value>
</property>

</configuration></strong>

~$ sudo gedit masters

~$ sudo gedit slaves

最后,将hadoop文件夹拷贝到集群中的各个机器上：

~$ scp -r /home/hadoop/hadoop root@node1.2.....n: /home/hadoop/

~$ cd /home/hadoop/hadoop/bin
~$ hadoop namenode -format

12/02/06 00:46:50 INFO namenode.NameNode:STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = ubuntu/127.0.1.1
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 0.20.203.0
STARTUP_MSG:   build =http://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20-security-203-r 1099333; compiled by ‘oom‘ on Wed May 4 07:57:50 PDT 2011
************************************************************/

12/02/0600:46:50 INFO namenode.FSNamesystem: fsOwner=root,root
12/02/06 00:46:50 INFO namenode.FSNamesystem:supergroup=supergroup
12/02/06 00:46:50 INFO namenode.FSNamesystem:isPermissionEnabled=true
12/02/06 00:46:50 INFO common.Storage: Imagefile of size 94 saved in 0 seconds.
12/02/06 00:46:50 INFO common.Storage: Storagedirectory /opt/hadoop/hadoopfs/name1 has been successfully formatted.
12/02/06 00:46:50 INFO common.Storage: Imagefile of size 94 saved in 0 seconds.
12/02/06 00:46:50 INFO common.Storage: Storagedirectory /opt/hadoop/hadoopfs/name2 has been successfully formatted.
12/02/06 00:46:50 INFO namenode.NameNode:SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode atv-jiwan-ubuntu-0/127.0.0.1
************************************************************/

~$ start-all.sh

~$ stop-all.sh

NameNode - http://node1:50070/

JobTracker - http://node1:50030/

如果操作正确，就会看到，集群的节点数，以及所有的相关信息显示。

九、运行实例

~$ cd /home/hadoop/hadoop/bin
~$ hadoop fs -mkdir input 
~$ hadoop fs ls 
~$ cd ..
~$ hadoop fs -put NOTICE.txt REDME.txt input 
~$ hadoop fs -ls input
~$ hadoop jar hadoop-examples-1.0.4.jar wordcount input output

然后就可以看到map reduce的过程。

~$ hadoop fs -ls output 
~$ hadoop fs -cat output/part-r-00000

就可以看到相关的程序结果了。 以上操作就是关于ubuntu上进行hadoop reduce集群的环境搭建，并且进行了测试和实例的运行，在这个基础上就可以进行mapreduce的学习编程和大数据的处理了。

Ubuntu下Hadoop MapReduce集群搭建以及程序运行

原文：http://blog.csdn.net/jojozhangju/article/details/19477175