首页 > 其他 > 详细

Spark核心概念

时间:2019-05-06 20:33:45      阅读:152      评论:0      收藏:0      [点我收藏+]

Spark核心概念 

  每个Spark应用都由一个驱动器程序(driver program)来发起集群上的各种 并行操作。

驱动器程序包含应用的 main 函数,并且定义了集群上的分布式数据集,还对这 些分布式数据集应用了相关操作。 ?

  驱动器程序通过一个 SparkContext 对象来访问 Spark。这个对象代表对计算集群的一个连 接。

shell 启动时已经自动创建了一个 SparkContext 对象,是一个叫作 sc 的变量。

  驱动器程序一般要管理多个执行器(executor)节点。

 

技术分享图片

Spark核心概念

原文:https://www.cnblogs.com/Vowzhou/p/10821755.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!