首页 > 其他 > 详细

完全分布式部署

时间:2020-02-26 15:00:29      阅读:81      评论:0      收藏:0      [点我收藏+]

一、namenode节点各参数

技术分享图片

二、Hadoop sbin指令

  技术分享图片

1.hadoop-daemon.sh    //启动或关闭一个应用
    hadoop-daemon start namenode
    hadoop-daemon start datanode
    hadoop-daemon start secondarynamenode
    hadoop-daemon stop namenode
    hadoop-daemon stop datanode
2.start-all.sh    //启动dfs和yarn两个组件(五个应用)
    dfs:namenode,datanode,secondaryname
    yarn:resourcemanager,nodemanager
3.stop-all.sh    //关闭dfs和yarn两个组件
4.start-dfs.sh   //启动dfs组件
5.stop-dfs.sh    //关闭dfs组件
6.start-yarn.sh   //启动yarn组件
7.stop-yarn.sh    //关闭yarn组件
8.yarn-daemon.sh    //启动或关闭yarn组件的单个应用
    yarn-daemon start resourcemanager
    yarn-daemon start nodemanager

三、完全分布式部署

  1.先完成伪分布式部署

  2.克隆一台机器,修改IP地址(vim /etc/sysconfig/network-scripts/ifcfg-ens33)、uuid、主机名(vim /etc/hostname)

  3.修改两台虚拟机的IP地址映射 vim /etc/hosts

    技术分享图片

  4.修改hdfs-site.xml 将副本数设置为3

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>3</value>
     </property>
</configuration>

  5.修改 etc/hadoop/slaves 添加新的节点,作为datanode

  6.删除两台机器的 tmp/dfs/目录下的文件

    技术分享图片

  7.配置免密登陆

ssh-keygen    //生成公钥和私钥
ssh-copy-id  主机名  //传递公钥,实现免密登陆
ssh 主机名  //测试免密登陆是否成功

  8.在namenode节点上初始化

hadoop namenode -format

  9.启动节点

start-dfs.sh
start-yarn.sh

  9.测试 jps查看节点的启动状况;web端验证

    namenode节点

    技术分享图片     

    datanode节点

    技术分享图片

    web端查看

技术分享图片

 

 

技术分享图片

 

完全分布式部署

原文:https://www.cnblogs.com/zhan98/p/12367010.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!