JobHistory用来记录已经finished(结束)的mapreduce运行日志,日志信息存放于HDFS目录中,默认情况下没有开启此功能,需要在mapred-site.xml中配置并手动启动。
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim mapred-site.xml
MR JobHistory Server管理的日志的存放位置
<property>
<name>mapreduce.jobhistory.address</name>
<value>node-1:10020</value>
</property>
查看历史服务器已经运行完的Mapreduce作业记录的web地址,需要启动该服务才行
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>node-1:19888</value>
</property>
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
scp -r mapred-site.xml node-2:$PWD
scp –r mapred-site.xml node-3:$PWD
mr-jobhistory-daemon.sh start historyserver
如果关闭的话 用下述命令
mr-jobhistory-daemon.sh start historyserver
http://node-1:19888/jobhistory
historyserver 是否运行不影响hadoop集群正常工作 只是为了更好查看历史运行信息的
原文:https://www.cnblogs.com/TiePiHeTao/p/11503955.html