首页 > 其他 > 详细

spark 中如何查看单个RDD分区的内容(创建分区,查看分区数)

时间:2018-09-29 12:31:19      阅读:643      评论:0      收藏:0      [点我收藏+]

spark 创建分区

val scores = Array(("Fred", 88), ("Fred", 95), ("Fred", 91), ("Wilma", 93), ("Wilma", 95), ("Wilma", 98))

val input = sc.parallelize(scores,3)   #这里创建了3个分区

查看分区数:

input.partitions.size

 

查看分区的内容和情况

input.glom().collect()

spark 中如何查看单个RDD分区的内容(创建分区,查看分区数)

原文:https://www.cnblogs.com/spicy/p/9722977.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!