首页 > 其他 > 详细

Hadoop MapReduce作业的生命周期

时间:2014-03-11 17:51:22      阅读:544      评论:0      收藏:0      [点我收藏+]

 

首先,我们来看如下的一张图:

bubuko.com,布布扣

作业的整个运行过程分为5个步骤:

1、作业的提交和初始化。

用户提交作业后,由JobClient实例将作业相关信息(jar包、配置文件xml、分片元信息等)上传到HDFS。

然后,JobClient通过RPC通知JobTracker。JobTracker接收到新作业请求后,由作业调度模块对作业进行初始化,

为作业创建一个JobInProgress对象以跟踪作业的运行状况,而JobInProgress则会为每个Task创建一个

TaskInProgress对象以跟踪每个任务的运行状态,而TaskInProgress可能需要管理多个Task运行尝试(Task Attempt)。


2、任务调度和监控。

通过MapReduce的架构简介,我们知道,任务的调度和监控由JobTracker完成。TaskTracker通过Heartbeat周期性

地向JobTracker汇报本节点的资源使用情况,一旦出现空闲资源,任务调度器按照一定的策略选择合适的任务使用该空闲

资源。另外,JobTracker还跟踪整个作业的运行过程,保证作业最终顺利完成。


3、任务运行环境的准备。

运行环境包括JVM启动和资源隔离,这些都由TaskTracker实现。


4、任务的执行。

启动Task后,每个Task的最新进度先由Task通过RPC汇报给TaskTracker,再由TaskTracker汇报给JobTracker。


5、作业运行完成。

直到所有Task执行完毕后,整个作业才算执行成功。

Hadoop MapReduce作业的生命周期,布布扣,bubuko.com

Hadoop MapReduce作业的生命周期

原文:http://blog.csdn.net/easyhadoop/article/details/20956271

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!