首页 > 其他 > 详细

大数据Spark技术之键值对RDD创建

时间:2021-03-31 14:05:37      阅读:37      评论:0      收藏:0      [点我收藏+]

1、键值对RDD的创建

2、常用的键值对RDD转换操作

3、一个综合实例

 

1、创建的两种方式

a、从文件加载

技术分享图片

 

 b、通过并行集合来创建

技术分享图片

 

 

2、键值对转换操作

技术分享图片

 

 a、reduceByKey

技术分享图片

 

 

b、groupByKey()

技术分享图片

 

技术分享图片

 

 技术分享图片

 

 技术分享图片

 

 技术分享图片

 

 

3、keys

技术分享图片

 

 4、values

技术分享图片

 

 5、sortByKey 默认是升序排序,false是降序排序

技术分享图片

 

 6、sortby

技术分享图片

 

 7、mapValues

技术分享图片

 

 8、join 如果key相同,把value组合起来

技术分享图片

 

大数据Spark技术之键值对RDD创建

原文:https://www.cnblogs.com/dalege/p/14600970.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!