对一个数据为{1,2,3,3}的RDD进行基本的RDD转化操作
函数名 | 目的 | 示例 | 结果 |
map() | 将函数应用于RDD中的每个元素,将返回值构成新的RDD | rdd.map(x =x + 1) | {2,3,4,4} |
flatMap() | 将函数应用于RDD中的每个元素,将返回的迭代器的所有内容构成新的RDD。通常用来切分单词 | rdd.flatMap(x=>x.to(3)) | {1,2,3,2,3,3,3} |
filter() | 返回一个由通过传给filter()的函数的元素组成的RDD | rdd.filter(x=>x!=1) | {2,3,3} |
distinct() | 去重 | rdd.distinct() | {1,2,3} |
sample(withReplacement,fraction,[seed]) | 对RDD采样,以及是否替换 | rdd.sample(false, 0.5) | 非确定的 |
原文:http://www.cnblogs.com/xyliao/p/6388100.html