首页 > 其他 > 详细

hdfs 3备份 2备份

时间:2019-05-22 15:53:17      阅读:128      评论:0      收藏:0      [点我收藏+]

记录一次hdfs磁盘满了的非常规操作

研发环境最近压测一个东西,导了一个月的数据,3备份,对数据进行一些加工后,数据量直接把hdfs压满了。

 

我的天,太恐怖了,和领导请示后,给集群解压(咱们也没办法呀,资源不够)

怎么解压呢?首先通过cdh的hdfs的配置选项:将dfs.replication由3改为2

dfs.replication
2

改完重启了研发集群,理论上这个hdfs会自动把多复制的那个块删掉吧?

万万没想到,观察了半个小时,没有效果啊

搜了搜万能的百度:决定手动暴力把hdfs上已经存在的数据改为2备份

#hdfs用户
hadoop fs -setrep 2 / #全目录所有文件瞬间都改成2备份,效果杠杠的啊,集群存储马上有了空间

 

 思考:通过修改参数应该只会对新进入hdfs的文件会快速产生影响,对于已经存在hdfs上的文件需要多久才能变成2备份呢?

 

咱们不知道,也不敢问啊。

 

6台机器存储有点不均匀:做一个负载均衡美滋滋 

#存储不均匀:手动balance

hdfs用户

hdfs balancer

 

hdfs 3备份 2备份

原文:https://www.cnblogs.com/students/p/10906067.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!