HDFS基本原理

HDFS

NameNode(NN): 接受客户端的读写服务

NameNode保存metadata信息:
--fsimage中包括:
1.文件ownership和permissions
2.文件包含哪些块儿
--Block的位置信息不会保存到fsimage,DataNode启动时主动汇报给NameNode
3.Block保存在哪个DataNode(由DataNode启动时上报)

NameNode的metadata信息在启动后会加载到内存
metadata存贮到磁盘文件名为"fsimage"
metadata的操作日志记录在"edits"

DataNode启动时上报3,结合1,2形成完整metadata信息

(Hadoop2.x环境HA无SNN)
SecondNameNode(SNN):帮助NN合并fsimage和edits文件,减少启动时间
触发合并时机:
1.fs_checkpoint_period默认3600s
2.fs.checkpoint.size默认64M

DataNode(DN)
1.存贮数据(Block)
2.启动时向NN汇报Block消息
3.与DN心跳机制,默认3s一次,10mins无响应lost

HDFS基本原理

原文：https://www.cnblogs.com/zkio/p/9351127.html