记录一次hdfs磁盘满了的非常规操作
研发环境最近压测一个东西,导了一个月的数据,3备份,对数据进行一些加工后,数据量直接把hdfs压满了。
我的天,太恐怖了,和领导请示后,给集群解压(咱们也没办法呀,资源不够)
怎么解压呢?首先通过cdh的hdfs的配置选项:将dfs.replication由3改为2
dfs.replication 2
改完重启了研发集群,理论上这个hdfs会自动把多复制的那个块删掉吧?
万万没想到,观察了半个小时,没有效果啊
搜了搜万能的百度:决定手动暴力把hdfs上已经存在的数据改为2备份
#hdfs用户
hadoop fs -setrep 2 / #全目录所有文件瞬间都改成2备份,效果杠杠的啊,集群存储马上有了空间
思考:通过修改参数应该只会对新进入hdfs的文件会快速产生影响,对于已经存在hdfs上的文件需要多久才能变成2备份呢?
咱们不知道,也不敢问啊。
6台机器存储有点不均匀:做一个负载均衡美滋滋
#存储不均匀:手动balance
hdfs用户
hdfs balancer
原文:https://www.cnblogs.com/students/p/10906067.html