首页 > 其他 > 详细

Spark Scheduler(调度)

时间:2017-02-14 23:53:46      阅读:380      评论:0      收藏:0      [点我收藏+]

1.官网

  http://spark.apache.org/docs/1.6.1/job-scheduling.html
  http://spark.apache.org/docs/1.6.1/configuration.html#scheduling

  技术分享

 

2.两种Scheduler

  DAGScheduler
    负责根据DAG划分Stage,在Driver中执行,当RDD的action类型的API被触发的时候执行


  TaskScheduler
    负责Stage的一个调度,当DAGScheduler划分好DAG的stage阶段后,TaskScheduler负责将Stage对应的Task提交到Executors中执行(也是在Driver中进行操作的)

   技术分享

  技术分享

 

 

3.Spark调度方式

  FIFO:先进先出(默认)
  FAIR: 公平调度

 

 

  

Spark Scheduler(调度)

原文:http://www.cnblogs.com/juncaoit/p/6399366.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!