首页 > 其他 > 详细

Hadoop伪集群搭建环境

时间:2020-04-15 13:48:53      阅读:73      评论:0      收藏:0      [点我收藏+]

技术分享图片

 

 

HDFS集群:

NameNode:整个HDFS集群的管理者,不存储文件数据,只记录文件“元数据” 信息

DataNode:用来存储数据的节点

Block:数据块,由NameNode对数据文件进行切分的最小单元(Hadoop 2.x和1.x中默认128M,Hadoop 3.x中默认为64M)

Replica:副本,HDFS为了保证数据的高可用,默认会对一个数据块进行三次备份

 

 

 

hadoop的解压缩目录结构

bin: 可执行的二进制脚本文件

etc/hadoop: hadoop系统配置文件所在目录  hadoop-env.sh配置环境  core-site.xml 配置HDFS集群核心配置(实际就是配置NameNode)  hdfs-site.xml 对hdfs文件系统做配置(针对DataNode)

sbin:可执行二进制脚本文件

share:hadoop的文档和运行的核心包

 

配置hadoop环境

1.添加环境变量

技术分享图片

 

 

2.修改etc/hadoop-env.sh文件,将java_home路径修改为绝对路径

技术分享图片

 

 

3.配置core-site.xml,配置NameNode的全局入口

技术分享图片

 

 

4.配置hdfs-site.xml,用来对hdfs文件系统做相关配置

技术分享图片

 

 

5.配置slaves,用来决定哪些机器为DataNode节点

 

6.格式化NameNode,格式化成Hadoop可以识别hdfs文件系统(只需格式化一次)

Hadoop伪集群搭建环境

原文:https://www.cnblogs.com/zqzhen/p/12693902.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!