首页 > 其他 > 详细

spark的rdd详解1

时间:2018-08-18 20:54:09      阅读:146      评论:0      收藏:0      [点我收藏+]

 

1,rdd的转换和行动操作

 

技术分享图片

 

 

2,创建rdd的2种方式

1,通过hdfs支持的文件系统,没有真正把数据放rdd,只记录了一下元数据

2,通过scala的集合或者数组并行化的创建rdd

技术分享图片

 

3,rdd的5大特点

1,rdd是分区的,可以指定分区数

2,算子的方法都会作用在每个分区

3,rdd之前有一系列的依赖,所有依赖形成DAG图,DAG计算单位是阶段

4,k-v的rdd可以选择分区器,默认的是hash-partitioned

5,会选择最优的位置计算每个分区,避免跨网络传输数据

 技术分享图片

 

spark的rdd详解1

原文:https://www.cnblogs.com/yeyusheng/p/9498582.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!