首页 > 其他 > 详细

hadoop jobhistory解析工具汇总

时间:2014-02-13 04:51:53      阅读:356      评论:0      收藏:0      [点我收藏+]

1. White Elephant是LinkedIn开源的一套Hadoop 作业日志收集器和展示器,使用mapreduce作业解析jobhistory日志,得到每个用户使用的资源情况,并通过网页展示。基于 Hadoop 1.0.3,Hadoop 2.0不支持。

2. hadoop-job-analyzer解析Hadoop作业,收集用户指定的信息,并把输出发送给监控以可视化方式展示和分析,也是基于hadoop1.0,不支持hadoop2.0。

3. Replephant是一个Clojure库,执行perl脚本分析Hadoop集群使用情况并产生使用报告。

4. hRaven Twitter开源,收集Hadoop集群上运行的MapReduce作业的运行数据和统计信息,并以方便查询的格式存储。仅支持CDH3,不支持hadoop1.0和hadoop2.0。

5. 商业软件还有 Cloudera Manager,Hortonworks Management,MapR M5。

hadoop jobhistory解析工具汇总

原文:http://www.cnblogs.com/shenh062326/p/3546560.html

踩
(0)
赞
(0)
   
举报
评论 一句话评论(0)
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!