首页 > 其他 > 详细

spark 的RDD各种转换和动作

时间:2015-12-09 17:05:21      阅读:418      评论:0      收藏:0      [点我收藏+]

今天先把spark的各种基本转换和动作总结下,以后有时间把各种用法放上去。

1 RDD基本转换操作   

 
    map、flagMap、distinct
    
    coalesce、repartition
    
    coalesce、repartition
    
    randomSplit、glom
    
    union、intersection、subtract
    
    mapPartitions、mapPartitionsWithIndex
    
    mapPartitions、mapPartitionsWithIndex
    
    zip、zipPartitions
    
    zipWithIndex、zipWithUniqueId
    
    partitionBy、mapValues、flatMapValues
    
    combineByKey、foldByKey 
    
    groupByKey、reduceByKey、reduceByKeyLocally
    
    cogroup、join
    
    leftOuterJoin、rightOuterJoin、subtractByKey

 

 2 RDD行动Action操作

 first、count、reduce、collect

 take、top、takeOrdered

 aggregate、fold、lookup

 countByKey、foreach、foreachPartition、sortBy

 saveAsTextFile、saveAsSequenceFile、saveAsObjectFile

 saveAsHadoopFile、saveAsHadoopDataset

 saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDataset

 

  

spark 的RDD各种转换和动作

原文:http://www.cnblogs.com/rxingyue/p/5033099.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!