首页 > 其他 > 详细

hadoop

时间:2020-02-18 18:47:47      阅读:45      评论:0      收藏:0      [点我收藏+]

1、解压HADOOP安装包

2、设置环境变量

2.1、修改/etc/profile:vi /etc/profile

2.2、添加HADOOP_HOME:export HADOOP_HOME=/data/soft/hadoop

2.3、添加到PATH中:export PATH=$PATH:$HADOOP_HOME/bin

3、配置文件配置(配置文件都在hadoop/etc/hadoop/下)

3.1、核心配置文件:core-site.xml

3.2、hadoop集群信息配置:hdfs-site.xml

3.3、资源管理配置:mapred-site.xml

3.4、资源管理器配置:yarn-site.xml

3.5、调试策略配置:fair-scheduler.xml

3.6、集群启动脚本配置JAVA_HOME:hadoop-env.sh

3.7、资源管理器启动脚本配置JAVA_HOME:yarn-env.sh

3.8、DataNode节点配置文件:slaves

3.9、将配置文件中涉及的目录统一建全

4、启动

4.1、启动ZK:zkServer.sh start

4.2、首次启动

4.2.1、启动JournalNode进程:hadoop-daemon.sh start journalnode

4.2.1.1、可以在任一namenode中启动,也可以单独到每台datanode中启动

4.2.2、格式化namenode:hdfs namenode -format

4.2.3、注册ZNode:hdfs zkfc -formatZK

4.3、后续启动

4.3.1、分开启动

4.3.1.1、启动JournalNode进程:hadoop-daemon.sh start journalnode

4.3.1.2、启动分布式系统:start-dfs.sh

4.3.1.3、启动资源进程:start-yarn.sh

4.3.2、全部启动:start-all.sh

 

hadoop

原文:https://www.cnblogs.com/gus-1118/p/12304805.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!