首页 > 其他 > 详细

HDFS操作笔记

时间:2019-01-06 20:33:04      阅读:126      评论:0      收藏:0      [点我收藏+]

1.运行mr程序出错

connecting to resourcemanager

retrying ....

retrying....

原因是没有启动yarn或者启动失败

 

2.初始化工作目录结构

hdfs namenode -format 只是初始化了namenode的工作目录

而datanode的工作目录是在datanode启动后自己初始化的

 

3.datanode不被namenode识别的问题

namenode在format初始化的时候会形成两个标识:

blockpoolId;

clusterId;

新的datanode加入时,会获取这两个标识作为自己工作目录中的标识

一旦namenode重新format后,namenode的身份识别已变,而datanode如果依然持有原来的id,就不会被namenode识别。

 

4.datanode下线后多久看到效果

datanode不是一下线就会被namenode认定为下线的,有一个超时时间

 

5.关于副本数量的问题

副本数由客户端的参数dfs.replication决定(优先级:conf.set>自定义配置文件>jar包中的hdfs-default.xml)

HDFS操作笔记

原文:https://www.cnblogs.com/fjlcoding/p/10230161.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!