首页 > 其他 > 详细

spark wordcont Spark: sortBy和sortByKey函数详解

时间:2017-09-19 22:02:10      阅读:331      评论:0      收藏:0      [点我收藏+]
   val res =  sc.textFile("D:\\test\\spark\\urlCount").flatMap(_.split("\\s"))
     .map((_,1)).reduceByKey(_+_).map(t=>(t._2,t._1)).sortByKey().top(10)

在很多应用场景都需要对结果数据进行排序,Spark中有时也不例外。在Spark中存在两种对RDD进行排序的函数,分别是 sortBy和sortByKey函数。sortBy是对标准的RDD进行排序,它是从Spark 0.9.0之后才引入的(可以参见SPARK-1063)。而sortByKey函数是对PairRDD进行排序,也就是有Key和Value的RDD。下面将分别对这两个函数的实现以及使用进行说明。

当组成keyval对之后只能用sortBykey实现了

spark wordcont Spark: sortBy和sortByKey函数详解

原文:http://www.cnblogs.com/rocky-AGE-24/p/7554304.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!