首页 > 其他 > 详细

深入探究Spark -- 基本组成

时间:2018-03-06 22:50:06      阅读:184      评论:0      收藏:0      [点我收藏+]
DAG:Directed Acyclic Graph,有向无环图
RDD:Resilient Distributed Dataset 弹性分布式数据集,一种分布式的内存抽象,将工作集缓存到内存中,实现了复用。
 
用户使用交互接口(Driver)与Spark集群的Cluster Manager进行交互,CM进行调度和资源管理。管理的是Worker Node(包括Executor、Task、Cache)
技术分享图片
 
 
Spark Streaming将流式计算分解成短小的批处理作业。
技术分享图片
 
 
MLlib实现了许多算法,包括分类、回归、聚类、协同过滤、降维等
 
Spark SQL 提供与外部数据源便捷的访问,交互式的查询
 
GraphX ETL、试探性分析、迭代式的图计算

深入探究Spark -- 基本组成

原文:https://www.cnblogs.com/kinghey-java-ljx/p/8516927.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!