首页 > 其他 > 详细

spark自定义分区器

时间:2020-02-14 21:56:27      阅读:78      评论:0      收藏:0      [点我收藏+]

1、spark中默认的分区器:

  Spark目前支持Hash分区和Range分区,用户也可以自定义分区,Hash分区为当前的默认分区,Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle过程属于哪个分区和Reduce的个数。

  • 只有Key-Value类型的RDD才有分区器的,非Key-Value类型的RDD分区器的值是None

  • 每个RDD的分区ID范围:0~numPartitions-1,决定这个值是属于那个分区的2、

 

参考博客:https://www.jianshu.com/p/a10d92bbeacf

spark自定义分区器

原文:https://www.cnblogs.com/guoyu1/p/12309649.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!