首页 > 其他 > 详细

HDFS读文件解析

时间:2015-04-14 11:12:10      阅读:209      评论:0      收藏:0      [点我收藏+]
下图描述了在文件读过程中,client、NameNode和DataNode三者之间是如何互动的。  
技术分享

1.  client调用get方法得到HDFS文件系统的一个实例(DistributedFileSystem)。然后调用它的open方法。  
2.  DistributedFileSystem通过RPC远程调用NameNode决定文件文件的block的位置信息。对于每一个bolck,NameNode返回block所在的DataNode(包括副本)的地址。DistributedFileSystem返回FSDataInputStream给client用来读数据。FSDataInputStream封装了DFSInputStream用于管理NameNode和DataNode的IO。  
3.  client调用FSDataInputStream的read方法。  
4.  DFSInputStream保存了block块所在的DataNode的地址信息。DFSInputStream连接第一个block的DataNode,read block数据,传回给client。  
5.  当第一个block读完,DFSInputStream关掉与这个DataNode的连接。然后开始第二个block。  
6.  当client读结束,调用FSDataInputStream的close方法。  

在读的过程中,如果client和一个datanode通讯时出错,他会连接副本所在的datanode。这种client直接连接datanode读取数据的设计方法使HDFS可以同时相应很多client的同时并发。因为数据流量均匀的分布在所有的datanode上,NameNode只负责block的位置信息请求。

HDFS读文件解析

原文:http://blog.csdn.net/crxy2016/article/details/45038659

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!