首页 > 其他 > 详细

Spark应用构成结构

时间:2017-02-09 00:18:06      阅读:238      评论:0      收藏:0      [点我收藏+]

1.Mapreduce的应用结构

  一个Application就是一个Job
  一个Job由MapTask和ReduceTask两部分构成

 

2.Spark的三个网页页面

  MasterWebUI:http://192.168.187.146:8080/

  HistoryWebUI:http://192.168.187.146:18080/

  DriverWebUI: http://192.168.187.146:4040/(默认)

 

3.Spark的应用程序

  一个Application(就是一个通过spark-submit提交的一个请求)

  一个Application中存在多个Job

  一个Job由多个Stage阶段构成

  一个Stage就是在可以一起运行的一段代码

  一个Stage中存在多个Task任务

 

4.Task的实质

  Task实质上就是分区;

  Task和Partition从两个方面来描述分区,Task从代码逻辑上,Partition从数据的分布;

  不同分区来讲,task的区别在于输入数据的不同,处理逻辑一样

 

5.Spark应用构成  

  Driver:负责SparkContext的初始化以及Job调度
  Executors:负责具体SparkTask任务执行的进程,Task以线程的形式在Executor中执行

 

Spark应用构成结构

原文:http://www.cnblogs.com/juncaoit/p/6380200.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!