首页 > 其他 > 详细

CDH版HDFS Block Balancer方法

时间:2016-02-16 11:40:20      阅读:360      评论:0      收藏:0      [点我收藏+]
命令:
sudo -u hdfs hdfs balancer

默认会检查每个datanode的磁盘使用情况,对磁盘使用超过整个集群10%的datanode移动block到其他datanode达到均衡作用。


指定阀值,该阀值是datanode节点的磁盘使用占整个集群的百分比。
sudo -u hdfs hdfs balancer -threshold 5 #表示超过整个集群5%容量的节点进行均衡block

设置均衡的带宽,默认设置:1048576(1 M/S)
参数含义:设置balance工具在运行中所能占用的带宽,设置的过大可能会造成mapred运行缓慢

sudo -u hdfs hdfs dfsadmin -setBalancerBandwidth  104857600 #表示设置带宽可使用100Mb








CDH版HDFS Block Balancer方法

原文:http://www.cnblogs.com/luguoyuanf/p/8d6929419f8e695c7b762d154a06048d.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!