首页 > 其他 > 详细

Spark学习笔记

时间:2014-10-27 14:21:28      阅读:154      评论:0      收藏:0      [点我收藏+]
Spark学习笔记


join跟union方法测试效果

join(otherDataset, [numTasks]):(K, V) join (K, W) => (K, (V, W))

测试过如果  没有join到的key,就没有数据,也就是两个RDD没有共同的K,则没有相应的数据

如:

res15: Array[(Int, Int)] = Array((1,2), (2,3), (3,4))


res16: Array[(Int, Int)] = Array((1,2), (2,3), (4,5))


两个list 的join结果如下:


res17: Array[(Int, (Int, Int))] = Array((1,(2,2)), (2,(3,3)))



union(otherDataset)   返回一个新的数据集,由原数据集和参数联合而成

两个list 的 union结果如下:

res18: Array[(Int, Int)] = Array((1,2), (2,3), (3,4), (1,2), (2,3), (4,5))



暂时未测试map的 






Spark学习笔记

原文:http://blog.csdn.net/duck_genuine/article/details/40506715

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!