首页 > 其他 > 详细

(一)hadoop全分布式搭建

时间:2020-06-25 22:35:45      阅读:69      评论:0      收藏:0      [点我收藏+]

一.集群规划

Name Master Slave1 Slave2
IP 192.168.2.98 192.168.2.99 192.168.2.100
Hadoop版本 2.7.3 2.7.3 2.7.3
NameNode
SecondaryNameNode
NodeManager
DataNode

二.搭建Hadoop(分布式)

# mkdir /usr/Hadoop  建立hadoop目录
# tar -zxvf /opt/soft/hadoop-2.7.3.tar.gz -C /usr/hadoop/  解压至hadoop目录
# vim /etc/profile  添加hadoop环境变量
    export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
    export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
    export PATH=$PATH:$HADOOP_HOME/bin
# cd /usr/hadoop/hadoop-2.7.3/etc/hadoop/  进入
# vim hadoop-env.sh  配置1添加
    export JAVA_HOME=/usr/java/jdk1.8.0_171  Jdk路径
# vim core-site.xml  配置2在<configuration> </configuration>之间添加
<property>
  <name>fs.default.name</name>
   <value>hdfs://master:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
   <value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>
<description>A base for temporary directories.</description>
</property>
<property>
  <name>io.file.buffer.size</name>
   <value>131072</value>
</property>
<property>
  <name>fs.checkpoint.period</name>
   <value>60</value>
</property>
<property>
  <name>fs.checkpoint.size</name>
   <value>67108864</value>
</property>
# vim yarn-site.xml  配置3在<configuration> </configuration>之间添加
<property>
 <name>yarn.resourcemanager.address</name>
   <value>master:18040</value>
 </property>
 <property>
   <name>yarn.resourcemanager.scheduler.address</name>
   <value>master:18030</value>
 </property>
 <property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>master:18088</value>
 </property>
 <property>
   <name>yarn.resourcemanager.resource-tracker.address</name>
   <value>master:18025</value>
 </property>
 <property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>master:18141</value>
 </property>
 <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>
 <property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>
# vim hdfs-site.xml  配置4在<configuration> </configuration>之间添加
<property>
 <name>dfs.replication</name>
   <value>2</value>
 </property>
 <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
   <final>true</final>
</property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
   <final>true</final>
 </property>
 <property>
  <name>dfs.namenode.secondary.http-address</name>
   <value>master:9001</value>
 </property>
 <property>
   <name>dfs.webhdfs.enabled</name>
   <value>true</value>
 </property>
 <property>
   <name>dfs.permissions</name>
   <value>false</value>
 </property>
# cp mapred-site.xml.template mapred-site.xml 复制配置4
# vim mapred-site.xml  配置4在<configuration> </configuration>之间添加
<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
# vim slaves  配置5删除localhost添加
    slave1
    slave2
# vim master  配置6 自行创建内添加
    master
# scp -r /usr/hadoop root@slave1:/usr/  配好的hadoop发往结点1
# scp -r /usr/hadoop root@slave2:/usr/  发结点2
# scp -r /etc/profile root@slave1:/etc/  将环境变量发往结点1
# scp -r /etc/profile root@slave2:/etc/  结点2
# source /etc/profile  各结点执行生效环境变量
# hadoop namenode -format  主结点执行格式化,出现”0”则成功!
# cd /usr/hadoop/hadoop-2.7.3/  进此目录下开启hadoop集群
# sbin/start-all.sh  开启集群 stop为关闭集群
打开浏览器网址栏输: 192.168.2.98:50070访问HDFS的web管理页面
Hadoop搭建完成后关于windows设置
C:\Windows\System32\drivers\etc  以记事本的方式打开hosts做机器名映射加入
  192.168.2.98 master
  192.168.2.99 slave1
  192.168.2.100 slave2

 技术分享图片

 

 访问WEB端

技术分享图片

 

(一)hadoop全分布式搭建

原文:https://www.cnblogs.com/Agent9527/p/13193001.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!