首页 > 其他 > 详细

关于Mapreduce On Yarn中Map数量的设置

时间:2015-10-12 17:31:49      阅读:281      评论:0      收藏:0      [点我收藏+]

同事最近对MR on Yarn中Map数量的一个小的研究,描述如下:

    在新版MapReduce 中即 MR on yarn中,不支持设置Map数量。

    Map的数量是由MinInputSplitSize决定的,公式:

    Map的数量 = TotalSize / MinInputSplitSize

    要想控制Map的数量,可以通过控制MinInputSplitSize大小来控制Map数量。

        如果设置的MinInputSplitSize大于BlockSize,MinInputSplitSize即为设置的值; 反之设置的MinInputSplitSize小于BlockSize,MinInputSplitSize的值会置为BlockSize

        如果保持默认设置的话,MinInputSplitSize则为BlockSize

关于Mapreduce On Yarn中Map数量的设置

原文:http://my.oschina.net/shipley/blog/515909

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!