首页 > 其他 > 详细

spark内核揭秘-05-SparkContext核心源码解析初体验

时间:2015-01-19 15:47:14      阅读:304      评论:0      收藏:0      [点我收藏+]

SparkContext在获得了一系列的初始化信息后开始创建并启动TaskScheduler实例:

技术分享

进入createTaskScheduler方法:

技术分享

我们看一下其Standalone的方式:

技术分享

在上述代码中首先实例化一个TaskSchedulerImpl:

技术分享

然后构建出了masterUrls:

技术分享

接着创建出关键的backend:

技术分享

进入SparkDeploySchedulerBackend实现:

技术分享

技术分享

从以上截图可以看出来,SparkDeploySchedulerBackend核心是为了启动CoarseGrainedExecutorBackend


此处使用了Akka技术进行不同机器之间的通信,CoarseGrainedExecutorBackend是具体在Worker上执行具体的任务的进程的代表,所以我们的backend实例就是用来提交任务给Executor的:

技术分享

技术分享

其实CoarseGrainedExecutorBackend是Executor的代理人,能够完成很多任务,例如启动一个任务:LaunchTask

技术分享

回到SparkContext的Standalone的方式的代码处:

技术分享

接着代码是把backend传给了TaskSchedulerImpl的initialize方法中:

技术分享

在上述代码中显示处理调度模式 例如FIFO和Fair的模式。

在代码块的最后返回实例化后的backend, scheduler:

技术分享

PS:妈蛋的 公司破网,spark源码没下载成功,只能在github上面看了,蛋疼


spark内核揭秘-05-SparkContext核心源码解析初体验

原文:http://blog.csdn.net/stark_summer/article/details/42844023

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!