注意：使用xysnc，出现权限问题，使用 root
一、基本配置
1、hosts 和 hostname
2、开启 ssh 和 无密连接
3、固定静态IP
4、配置 xsync
5、安装配置JDK
6、安装配置Hadoop
7、修改权限 (若不修改权限会出现权限问题)
sudo chown -R tom:tom /opt/module/hadoop-2.7.7/
二、核心配置文件
1、HDFS
vi core-site.xml <!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://wt:9000</value> </property> <!-- 指定Hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-2.7.7/data/tmp</value> </property> -------------------------- vi hadoop-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144 -------------------------- vi hdfs-site.xml <!-- 指定Hadoop辅助名称节点主机配置 --> <property> <name>dfs.namenode.secondary.http-address</name> <value>wt3:50090</value> </property>
2、YARN
vi yarn-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144 --------------------------- vi yarn-site.xml <!-- Reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定YARN的ResourceManager的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>wt2</value> </property>
3、MapReduce
vi mapred-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144 ------------------------ mv mapred-site.xml.template mapred-site.xml vi mapred-site.xml <!-- 指定MR运行在Yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
同步
xsync /opt/module/hadoop-2.7.7/
三、开启端口
sudo firewall-cmd --zone=public --add-port=50070/tcp --permanent sudo firewall-cmd --reload sudo firewall-cmd --query-port=50070/tcp
端口
50070 9000 8088 19888 10020 50090
四、群起
1、配置slaves
# 打开slaves文件 vim etc/hadoop/slaves # 增加相应的节点, 不允许有空格，不允许有空行 wt1 wt2 wt3
2、同步
xsync slaves
3、群起
# 启动dfs 在NmaeNode的节点； 启动Yarn 在ResourceManager的节点 sbin/start-dfs.sh sbin/start-yarn.sh
原文：https://www.cnblogs.com/wt7018/p/13574921.html