首页 > 其他 > 详细

hadoop删除节点

时间:2016-08-21 19:44:24      阅读:94      评论:0      收藏:0      [点我收藏+]

1.修改Master节点Hdfs-site.xml,增加dfs.hosts.exclude参数

eg:

<property>

<name>dfs.hosts.exclude</name>

<value>url/excludes(created file)</value>(如果集群slave机器少于3台,记得把副本改为2默认是3,因为多出来没用)

</property>

2.修改Master节点的yarn-site.xml,增加yarn.resourceManager.nodes.exclude-path参数

<property>

<name>yarn.resourceManager.nodes.exclude-path</name>

<value>url/excludes(created file)</value>

</property>

3.修改Master的mapred-site.xml,增加mapreduce.jobtracker.hosts.exclude.filename(2.0)/1.0 是mapred.hosts.exclude

<property>

<name>mapreduce.jobtracker.hosts.exclude.filename</name>

<value>url/excludes(created file)</value>

</property>

4.新建excludes文件添加需要删除的主机名

create file(touch excludes 并且增加删除节点的hostname)

5.执行refreshNodes使配置生效

hdfs dfsadmin -refreshNodes(hdfs dfsadmin 可以查看帮助)

yarn rmadmin -refreshNodes(yarn 可以查看帮助)

 

 

hafs dfs -ls /url (查看文件副本数目和信息)

刷新设置副本数hdfs dfs -setrep -w 2 -R /URL(该目录下)

查询 hdfs dfs -ls -R /XX

 

hadoop删除节点

原文:http://www.cnblogs.com/yaohaitao/p/5793262.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!