首页 > Web开发 > 详细

hadoop源码解读namenode高可靠:HA;web方式查看namenode下信息;dfs/data决定datanode存储位置

时间:2014-05-25 02:01:42      阅读:476      评论:0      收藏:0      [点我收藏+]

点击browserFilesystem,和命令查看结果一样

bubuko.com,布布扣

当我们查看hadoop源码时,我们看到hdfs下的hdfs-default.xml文件信息

bubuko.com,布布扣

我们查找${hadoop.tmp.dir}这是引用变量,肯定在其他文件有定义,在core-default.xml中查看到,这两个配置文件有个共同点:

就是不要修改此文件,但可以复制信息到core-site.xml和hdfs-site.xml中修改

bubuko.com,布布扣

usr/local/hadoop 是我存放hadoop文件夹的地方

bubuko.com,布布扣

几个关于namenode的重要文件

bubuko.com,布布扣

这里的in_use.lock本身没什么东西,但是它标记着这个namenode被使用,不准其他进程调用

current下存放了重要信息,尤其是fsimage,是namenode核心信息

bubuko.com,布布扣

edits用于事务处理

bubuko.com,布布扣

HA措施之一就是备份多个文件信息,可以用逗号隔开多个目录保存,注:不能在hdfs-default.xml中直接修改,而应该复制到hdfs-site下修改

bubuko.com,布布扣

dfs下的data文件决定datanode存储位置

bubuko.com,布布扣

HA措施之二:secondary用于辅助namenode,合并edits到fsimage。从secondary恢复数据可能存在部分丢失(类似windows备份点),但我认为这里的信息可能储存到了硬盘,而namenode储存的信息可能还包括内存中的信息

bubuko.com,布布扣

HA措施之三:replication,在配置文件中设置副本个数,存在不同datanode上

hadoop源码解读namenode高可靠:HA;web方式查看namenode下信息;dfs/data决定datanode存储位置,布布扣,bubuko.com

hadoop源码解读namenode高可靠:HA;web方式查看namenode下信息;dfs/data决定datanode存储位置

原文:http://blog.csdn.net/needkane/article/details/26588363

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!