首页 > 其他 > 详细

sc.union

时间:2015-05-11 17:39:30      阅读:131      评论:0      收藏:0      [点我收藏+]

我理解,就是将RDD指定的RDD进行合并。 同时保留合并数据的分区。

val data1 = sc.parallelize(1 to 20)
data1.partitions.length
val data2 = sc.parallelize(25 to 30)
data2.partitions.length

val data3 = data1.union(data2)
data3.partitions.length
data3.collect

data1和data2的分区数量都是默认值,即2

union后data3的分区数量是4。

data3.collect输出结果是

Array[Int] = Array(1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 25, 26, 27, 28, 29, 30)

sc.union

原文:http://www.cnblogs.com/hark0623/p/4494856.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!