首页 > 其他 > 详细

8天学会Hadoop基础(1):NameNode的工作机制

时间:2020-07-26 20:11:35      阅读:74      评论:0      收藏:0      [点我收藏+]

1 NameNode

工作职责:

1.负责客户端的请求与响应

2.元数据的管理

NameNode对元数据的存储方式:

1.内存元数据

2.磁盘元数据镜像文件

3.数据操作日志文件(可通过日志运算出元数据,edits)

技术分享图片

 

NameNode
(1)NameNode格式化,创建fsimage和fsedits文件

(2)NameNode启动,加载fsedits和fsimage到内存

(3)HDFS客户端对元数据进行增删改查

(4)NameNode更新内存

Secondary NameNode
(1)Secondary NameNode请求是否需要checkpoint

(2)NameNode响应请求,返回结果

(3)Secondary NameNode请求执行checkpoint

(4)NameNode滚动当前正在写的fsedits

(5)NameNode将滚动的fsedits和fsimage拷贝到Secondary NameNode

(6)Secondary NameNode加载fsedits和fsimage到内存并合并

(7)Secondary NameNode生成新的fsimage.chkpoint

(8)Secondary NameNode将新的fsimage.chkpoint拷贝到NameNode

(9)NameNode将fsimage.chkpoint重新命名成fsimage

元数据存储细节

技术分享图片

 

 

问题:

如果在某次chkpoint操作前,NN宕机了,集群还能正常对外服务吗?

不能,没有NN不可以正常上传和下载文件

8天学会Hadoop基础(1):NameNode的工作机制

原文:https://www.cnblogs.com/blzm742624643/p/13381027.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!