首页 > 其他 > 详细

Spark学习笔记

时间:2017-07-22 17:51:48      阅读:270      评论:0      收藏:0      [点我收藏+]
Spark学习笔记


join跟union方法測试效果

join(otherDataset, [numTasks]):(K, V) join (K, W) => (K, (V, W))

測试过假设  没有join到的key,就没有数据,也就是两个RDD没有共同的K,则没有对应的数据

如:

res15: Array[(Int, Int)] = Array((1,2), (2,3), (3,4))


res16: Array[(Int, Int)] = Array((1,2), (2,3), (4,5))


两个list 的join结果例如以下:


res17: Array[(Int, (Int, Int))] = Array((1,(2,2)), (2,(3,3)))



union(otherDataset)   返回一个新的数据集,由原数据集和參数联合而成

两个list 的 union结果例如以下:

res18: Array[(Int, Int)] = Array((1,2), (2,3), (3,4), (1,2), (2,3), (4,5))



临时未測试map的 






Spark学习笔记

原文:http://www.cnblogs.com/claireyuancy/p/7221921.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!