首页 > 编程语言 > 详细

[Spark][Python]sortByKey 例子

时间:2017-09-29 22:27:18      阅读:380      评论:0      收藏:0      [点我收藏+]

[Spark][Python]sortByKey 例子:

[training@localhost ~]$ hdfs dfs -cat test02.txt
00002 sku010
00001 sku933
00001 sku022
00003 sku888
00004 sku411
00001 sku912
00001 sku331
[training@localhost ~]$


mydata001=sc.textFile("test02.txt")
mydata002=mydata001.map(lambda line: line.split(‘ ‘))

mydata002.take(3)
Out[4]: [[u‘00002‘, u‘sku010‘], [u‘00001‘, u‘sku933‘], [u‘00001‘, u‘sku022‘]]

mydata003=mydata002.sortByKey()

In [9]: mydata003.take(5)

Out[9]:
[[u‘00001‘, u‘sku933‘],
[u‘00001‘, u‘sku022‘],
[u‘00001‘, u‘sku912‘],
[u‘00001‘, u‘sku331‘],
[u‘00002‘, u‘sku010‘]]

In [10]:


API 参考:
https://spark.apache.org/docs/latest/api/python/pyspark.html#pyspark.RDD

[Spark][Python]sortByKey 例子

原文:http://www.cnblogs.com/gaojian/p/7612792.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!