首页 > 其他 > 详细

hdfs读数据流程

时间:2020-06-14 16:27:39      阅读:49      评论:0      收藏:0      [点我收藏+]

1,客户端通过Distributed FileSystem 向namenode请求下载文件,namenode 通过查找元数据,返回文件块所在datanode的地址。

2,客户端挑选一台datanode(按照就近原则,返回的块地址根据网络拓扑图排序,距离客户端进的排在前面)服务器,建立连接,请求读取数据;如果dn异常,则从第二优先的dn读取数据,并且标记该dn异常,后续读取块的数据直接跳过该dn。

3,datanode开始传输数据给客户端(从磁盘读取数据输入流,以packet为单位来做校验),如果块读取完毕,则关闭和datanode的连接。

4,客户端以packet为单位接收数据,先在本地缓存下来,然后写入目标文件。

hdfs读数据流程

原文:https://www.cnblogs.com/gaoshanmuxue/p/13125128.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!