首页 > 其他 > 详细

MapReduce jobHistory--结束日志

时间:2019-09-11 00:29:14      阅读:159      评论:0      收藏:0      [点我收藏+]

一、 MapReduce jobHistory

JobHistory用来记录已经finished(结束)的mapreduce运行日志,日志信息存放于HDFS目录中,默认情况下没有开启此功能,需要在mapred-site.xml中配置并手动启动。

1. 修改mapred-site.xml

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

vim mapred-site.xml

MR JobHistory Server管理的日志的存放位置

         <property>

                  <name>mapreduce.jobhistory.address</name>

                  <value>node-1:10020</value>

         </property>

查看历史服务器已经运行完的Mapreduce作业记录的web地址,需要启动该服务才行

         <property>

                  <name>mapreduce.jobhistory.webapp.address</name>

                  <value>node-1:19888</value>

         </property>

2. 分发配置到其他机器

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

scp -r mapred-site.xml node-2:$PWD

scp –r mapred-site.xml node-3:$PWD

 

3. 启动jobHistoryServer服务进程

mr-jobhistory-daemon.sh start historyserver

如果关闭的话 用下述命令

mr-jobhistory-daemon.sh start historyserver

4. 页面访问jobhistoryserver

http://node-1:19888/jobhistory

 

 

注意事项

  • historyserver 是否运行不影响hadoop集群正常工作 只是为了更好查看历史运行信息的

 

 

 



MapReduce jobHistory--结束日志

原文:https://www.cnblogs.com/TiePiHeTao/p/11503955.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!