centOS7上搭建hadoop2.4.1的步骤

1.给虚拟机配置静态IP

DEVICE=eth0
IPV6INIT=yes
#BOOTPROTO=dhcp  #修改前
BOOTPROTO="static" #修改后
UUID=38fddc7f-1e93-4186-90e0-5b4edc91f398
ONBOOT=yes
TYPE=Ethernet
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME="System eth0"
IPADDR=192.168.1.250 #设置IP地址
NETMASK=255.255.255.0
GATEWAY=192.168.2.1 #默认网关
DNS1=192.168.2.1 #DNS 配置
HWADDR=52:54:00:a8:30:a4

?

我的虚拟机静态ip地址配置为192.168.1.250

配置完成后重启网络服务

具体步骤见Centos 7 学习之静态IP设置

2.配置/etc/hosts文件

添加一行

3.修改/etc/hostname文件

添加主机名

4.修改/etc/sysconfig/network文件

?修改主机名为master

?5.下载jdk和hadoop软件，配置jdk和hadoop环境

在文件尾部添加如下代码，注意JAVA_HOME和HADOOP_HOME是你自己的jdk和hadoop的路径

注：不知道jdk的安装路径时，用命令 ?echo $JAVA_HOME 查找安装路径，hadoop也一样

?6.配置免密钥登陆

?7.进入解压后的hadoop目录

?8.修改配置

8.1修改hdfs-site.xml?

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property> 
</configuration>

?8.2修改core-site.xml

<configuration>
<property>
    <name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
  </property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/qian/hadoop/tmp</value>
   </property>
</configuration>

?8.3修改mapred-site.xml

?

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

?8.4修改yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

?8.5如果找不到jdk的环境变量，修改hadoop-env.sh ?把jdk的环境变量写死

export JAVA_HOME=/home/qian/java/jdk1.7.0_65

?9.格式化namenode

?10.启动服务

?11.查看进程

?看到如下进程

696 DataNode
972 Jps
874 ResourceManager
780 SecondaryNameNode
632 NameNode
944 NodeManager

?说明安装完成

几个重要命令

?centos7查看防火墙状态：systemctl status firewalld

关闭防火墙状态：systemctl stop firewall.service

centOS7上搭建hadoop2.4.1的步骤

原文：http://qianjiangbing.iteye.com/blog/2307171