首页 > 其他 > 详细

Partioner的理解

时间:2017-05-18 19:54:25      阅读:264      评论:0      收藏:0      [点我收藏+]
  1. partioner在Hadoop中是干什么的?

    其实这个都是为shuffle服务的,怎么说,其实就是根据一些策略,将这个分区里面的那些数据分配给哪个reducer,举个例子,有很多关键字key1,text1,key2,text2,有两个reducer1,reducer2,为什么会将key1,走的是reduce1,key2,走的是reduce2,为什么会这样,这就看它分区的策略了。

  2. partioner可以自定义策略,来进行分区的?

    现在有很多方法,有hashPartioner,还有其他parttioner,但是你必须有那么多的reducer,所以你必须要进行设置reducer的个数,如果太多,它只会按照应该partioner中认为的个数进行计算,如果太少,它就只能用那么几个。

本文出自 “简答生活” 博客,请务必保留此出处http://1464490021.blog.51cto.com/4467028/1927017

Partioner的理解

原文:http://1464490021.blog.51cto.com/4467028/1927017

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!