首页 > 其他 > 详细

hadoop源码剖析--hdfs安全模式

时间:2015-05-29 19:57:36      阅读:302      评论:0      收藏:0      [点我收藏+]

一、什么是安全模式

  hadoop安全模式是name node的一种状态,处于该状态时有种量特性:

    1.namenode不接受任何对hfds文件系统的改变操作(即此时整个文件系统处于只读状态);

    2.不执行block的replica和delete动作。

二、安全模式的原理

  安全模式实在name node启动时默认进入的,当然也可以手动开启或关闭安全模式。

  在name node启动后自动进入安全模式,这时data nodes向name node汇报各自节点的block信息。要想自动离开安全模式需要满足三个条件:

    (1)threshold of blocks      blocks检查率阈值

    (2)minimal replication condition      每一个块必须满足最少replicas

    (3)extends time    延迟时间

  具体逻辑为:name node收集到满足threshold of blocks值的block汇报信息,而这些block的备份数都必须满足minimal replication condition值,当这两个条件都满足后,name node会在extends time时间之后退出安全模式(在extends time这段时间里,name node让没汇报完的数据节点继续检查block信息)对丢失block进行replica和接收客户端请求操作。

  以上三个对应的配置参数为:

    dfs.safemode.threshold.pct 
    dfs.safemode.extension 
    dfs.replication.min

三、特殊设置

  当dfs.safemode.threshold.pct=0时,name node启动不会进去安全模式

  当dfs.safemode.threshold.pct=1时,所有的块必须有至少dfs.replication.min个replication才能自动退出安全模式

  当dfs.safemode.threshold.pct>1时,name node永远不会自动退出安全模式

 四、手动设置开启、退出安全模式

  见org.apache.hadoop.hdfs.protocol.ClientProtocol接口的setSafeMode方法。

hadoop源码剖析--hdfs安全模式

原文:http://www.cnblogs.com/jerryshao2015/p/4539053.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!