首页 > 其他 > 详细

Spark寒假自学第三天

时间:2020-02-03 23:59:23      阅读:130      评论:0      收藏:0      [点我收藏+]

在今天的学习中了解到Spark的一些东西在这里记录一下

应用前景:

技术分享图片

Spark流程:

技术分享图片

还了解到一些名词:

RDD:是(Resillient Distributed Dataset)弹性分布式数据集的简称,是分布式内存的一个抽象概念,提供了一种高度受限的共享内存模式。
DAG:是Directed Acyclis Graph(有向无环图)的简称,反应RDD之间的依赖关系
Executor:是运行在工作节点(Worker Node)上的一个进程,负责运行Task
Application:用户编写的Spark应用程序
Task:运行在Executor上的工作单元
Job:一个job包含多个RDD及作用于相应RDD上的各种操作
Stage:是Job的基本调度单位,一个job会分为多组task,每组task被称为stage,或者taskstage,代表一组关联的、相互之间没有shuffle依赖关系的任务组成的任务集。

有一天过去了!很充实!

Spark寒假自学第三天

原文:https://www.cnblogs.com/jinseliunian/p/12257995.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!