首页 > 移动平台 > 详细

hadoop网络拓扑分析:NetworkTopology和DNSToSwitchMapping

时间:2015-05-24 11:18:32      阅读:284      评论:0      收藏:0      [点我收藏+]

  hadoop网络拓扑结构在整个系统中具有很重要的作用,它会影响DataNode的启动(注册)、MapTask的分配等等。了解网络拓扑对了解整个hadoop的运行会有很大帮助。

  首先通过下面两个图来了解与网络拓扑有关的类。

 

  NetworkTopology用来表示hadoop集群的网络拓扑结构。hadoop将整个网络拓扑组织成树的结构(可以参考这篇文章https://issues.apache.org/jira/secure/attachment/12345251/Rack_aware_HDFS_proposal.pdf),其中Node接口代表树种的结点,既可以是树的内部结点(如data center,rack),也可以是叶子结点(就是host);而NodeBase实现了Node;NetworkTopology.InnerNode则代表树的内部结点。当DataNode启动的时候以DatanodeRegistration的形式,向NameNode来注册本结点的信息,使得NameNode通过网络拓扑确定该DataNode在网络拓扑中的位置。

  DNSToSwitchMapping用来把集群中的node转换成对应的网络位置。

hadoop网络拓扑分析:NetworkTopology和DNSToSwitchMapping

原文:http://www.cnblogs.com/gwgyk/p/4525463.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!