首页 > 其他 > 详细

[Nutch]Hadoop动态删除DataNode节点和TaskTracker节点

时间:2016-06-12 02:25:02      阅读:200      评论:0      收藏:0      [点我收藏+]

之前的博文有说明动态添加一个结点,本次就说明如何动态删除一个结点。

上一篇博文有讲解如何限制一个结点的连接,要动态删除一个结点,可以在这个基础之上进行配置。

1. 在host1上配置dfs.hosts.exclude

在dfs.hosts.exclude指定的文件中添加host4:
技术分享

再执行如下命令:

hadoop   dfsadmin   -refreshNodes

然后用如下命令进行查看:

hadoop dfsadmin -report

如下:
技术分享
技术分享

2. web界面

从web管理界面可以看到,目前只有3个结点了,host4已经没有了:
技术分享

3. 从slaves文件中移除host4

技术分享

4. 从dfs.hosts中移除host4

技术分享

5. 在host3中配置mapred.hosts.exclude

在mapred.hosts.exclude指定的文件中添加host4:
技术分享

使用如下的命令进行刷新:

hadoop mradmin -refreshNodes

如下:
技术分享

6. 从slaves文件中移除host4

技术分享

7. 从mapred.hosts中移除host4

技术分享

8. 查看host4

在host4上我们仍然可以看到TaskTracker在运行:
技术分享

使用如下命令主动停止:

workspace/hadoop-1.2.1/bin/hadoop-daemon.sh stop tasktracker

如下:
技术分享

[Nutch]Hadoop动态删除DataNode节点和TaskTracker节点

原文:http://blog.csdn.net/kandy_ye/article/details/51622878

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!