首页 > 其他 > 详细

Hadoop Datanode 机器缺失 VD 问题修复尝试

时间:2016-01-13 23:14:21      阅读:153      评论:0      收藏:0      [点我收藏+]

背景:

新集群 Datanode 使用两个 SSD 做 raid 1 作为根磁盘,12 个 SAS 单独做 raid 0 作为数据盘,在机器部署完毕后,缺发现 PD slot 4 和 slot 5 丢失了 VD,然后挂载目录默认使用了VD初始化,但是挂载目录和 PD 对应不上,这样将会给后续维护集群磁盘带来不少麻烦。

 

处理手段:

修改 Linux lable, 使挂载目录和 PD 再对应上

具体命令(python 代码展示):

""" tune2fs -L /%s /dev/sd%s1 """ %( label , device )

然后使用 mount -L 将修改了的 lable 挂载到挂载目录上

具体原理是 : PD <--使用 Mega --> VD <--操作系统--> device 分区  <--对应--> lable <--挂载--> 目录 <--规范对应--> PD

好吧,单盘做 raid 0 ,转了一个圈重新回来。。。

做操作的使用要相当注意:

1. 确实服务完全停止了,不要被 puppet 之类的服务带起

2. 修复好了后不要急着启动 服务,否则 datanode 的 Threads Waiting 会大量增加

3. 在 jobtracker 和 nn 的 web 界面时刻观察修复后的 dn 的情况,有任何不对停止服务

 

但愿剩下的 39 台修复能顺利......

 

Hadoop Datanode 机器缺失 VD 问题修复尝试

原文:http://www.cnblogs.com/DavidLin/p/5128576.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!