首页 > 其他 > 详细

log (hadoop)

时间:2017-09-22 21:41:25      阅读:293      评论:0      收藏:0      [点我收藏+]

1application->container来管理。NameNode 的mapreduce log在userlogs。System.out 无法看到Mapper和Reducer的部分。

2log4j

3apache common LogFactory

4MultipleOutput ,program logputout

 

Hadoop:2.6:

mr-jobhistory-daemon.sh start historyserver  jps JobHistoryServer

Tracking URL里面的History

yarn-site.xml里面配置aggregation为true:  看到每个Map和Reduce任务的Log

yarn-site.xml同步到所有的节点,重启集群

HDFS directory where the application logs are moved on application completion. Need to set appropriate permissions. Only applicable if log-aggregation is enabled. The default value is "/logs" or "/tmp/logs"

 

log (hadoop)

原文:http://www.cnblogs.com/yumanman/p/7577116.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!