首页 > 移动平台 > 详细

spark RDD 中 transformation的map、flatMap、mapPartitions、glom详解--(视频笔记)

时间:2015-12-28 20:18:48      阅读:697      评论:0      收藏:0      [点我收藏+]

map
通过自定义函数 f:T->u 将元数据T转换为u,不会将split进行合并

flatMap
通过自定义函数 f:T->u 进行数据变换,并将拆分后的小集合合并成一个大集合。

mapPartitions
Iter => iter.filter(_>3)
作用于整个分区(例如hbase表等)进行操作

glom
将每个分区生成数组,将泛型RDD转换为RDD[Array]

spark RDD 中 transformation的map、flatMap、mapPartitions、glom详解--(视频笔记)

原文:http://www.cnblogs.com/isenhome/p/5083571.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!