首页 > 其他 > 详细

Spark的Job的划分

时间:2020-05-11 23:13:23      阅读:96      评论:0      收藏:0      [点我收藏+]

Job的划分

1、Application :

  应用,创建一个SparkContext可以认为创建了一个Application

2、Job

  在一个app中每执行一次行动算子 就会创建一个Job,一个application会有多个job

3、stage

  阶段,每碰到一个shuffle算子,会产生一个新的stage,一个Job中可以包含多个stage

4、task

  任务,表示阶段执行的时候的并行度,一个stage会有多个task

Spark的Job的划分

原文:https://www.cnblogs.com/atBruce/p/12872707.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!