首页 > 其他 > 详细

hadoop---hdfs详解(一)

时间:2018-08-30 17:20:41      阅读:215      评论:0      收藏:0      [点我收藏+]

hdfs名词解释:
Block: 在hdfs中文件都是采用分块的方式存储,每个block放在不同的DataNode上,block标识是一个三元组(block ID,numBytes,generationStamp),blockID是唯一的,具体分配由namenode节点设置,然后再由DataNode上建立block文件,同时建立对应的block meta文件。
Packet:在DFSclient与DataNode之间通信的过程中,文件采用的是基于块的方式进行,但数据发送过程中是以packet的方式进行的,每个packet包含了多个chunk,同时对chunk进行checksum计算,生成checksum bytes。
小结:一个文件被拆分成多个block持续化存储;传送数据时一个block又被拆分成多个packet;一个packet包含多个chunk。
packet结构与定义:packet分为两类,一类是实际数据包,另一类是heatbeat数据包,packet数据包的组成结构:
技术分享图片
packet由header和data两部分组成,header部分包含packet的概要属性
技术分享图片

hadoop---hdfs详解(一)

原文:https://www.cnblogs.com/jason-lc/p/9558743.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!