首页 > 其他 > 详细

hadoop启动后jps查不到namenode的解决办法

时间:2019-01-12 23:23:24      阅读:212      评论:0      收藏:0      [点我收藏+]

最近由于项目需要开始接触hadoop,在配置伪分布式启动后,jps查询进程发现少了namenode,而DataNode却存在。

下面是我的core-site.xml和hdfs-site.xml配置:

core-site.xml

技术分享图片
<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>
技术分享图片

hdfs-site.xml

技术分享图片
<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>
技术分享图片

 

启动过程:

执行 NameNode 的格式化:
hadoop@hadoop:/usr/local/hadoop$ ./bin/hdfs namenode -format
启 NameNode 和 DataNode 守护进程。
hadoop@hadoop:/usr/local/hadoop$ ./sbin/start-dfs.sh

 

启动过程没有发现错误,但是jps查看进程时,发现少了NameNode,而DataNode却存在:

技术分享图片
hadoop@hadoop:/usr/local/hadoop$ jps
907 ResourceManager
1112 NodeManager
3627 Jps
725 SecondaryNameNode
552 DataNode
技术分享图片

首先google了一下,网上看了几个方法没有解决。

干脆看启动日志,我们从启动脚本打印的日志可知启动NameNode的日志是放在hadoop下的logs目录下,进入这个目录可发现有一个hadoop-namenode.log(名字貌似根据用户名而定:格式如×××namenode×××.log),打开这个日志文件发现有这么一段:

技术分享图片

原来是端口9000已经被占用,解决办法有两个,第一种:查找占用端口的进程,kill掉它。如果已占用进程需要使用9000端口,可用第二种方法:修改core-site.xml文件,把9000改成其他如9001.

我用的是第一种方法,首先找出占用9000端口的进程,然后kill掉它

hadoop@hadoop:~$ sudo netstat -anp|grep 9000
tcp6 0 0 127.0.0.1:9000 127.0.0.1:43620 ESTABLISHED 7056/eclipse

hadoop@hadoop:~$ sudo kill -9 7056

最后重新执行启动脚本,jps就可以看到NameNode了,http://localhost:50070/也可以访问。

技术分享图片
hadoop@hadoop:/usr/local/hadoop/sbin$ ./sbin/start-dfs.sh
hadoop@hadoop:/usr/local/hadoop/sbin$ jps
907 ResourceManager
1112 NodeManager
4240 Jps
2704 NameNode
725 SecondaryNameNode
552 DataNode
技术分享图片

hadoop启动后jps查不到namenode的解决办法

原文:https://www.cnblogs.com/mkl34367803/p/10261435.html

(0)
(0)
   
举报
评论 一句话评论(0
分享档案
最新文章
教程昨日排行
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!