首页 > 其他 > 详细

MR作业Container资源计算方式

时间:2014-03-07 22:06:08      阅读:852      评论:0      收藏:0      [点我收藏+]

Container for task

memory
  • 单位:mega bytes
  • 默认值:1024
  • 首选"mapreduce.map|reduce.memory.mb" 默认值:0
  • 其次
    • 获取-Xmx配置的heapsize
      • 配置项首选 "mapreduce.map|reduce.java.opts"
      • 其次 "mapred.child.java.opts" 默认值:-Xmx200m
    • xmx浮动
      • 浮动比例:"mapreduce.xmx.overflow.memory.percent" 默认值:0.1
      • 浮动量:"mapreduce.xmx.overflow.memory.mb" 默认值:128
      • 综合:xmx = ceil(xmx * (1 + 0.1) + 128 * 1.0) 即默认200*1.1 + 128 = 348
cpu
  • 单位:vcore
  • 默认值:1
  • 配置项:"mapreduce.map|reduce.cpu.vcores"

Container for appmaster

memory
  • 单位:mega bytes
  • 默认值:1536
  • 配置项:"yarn.app.mapreduce.am.resource.mb"
cpu
  • 单位:vcore
  • 默认值:1
  • 配置项:"yarn.app.mapreduce.am.resource.cpu-vcores"

调度器控制

memory
  • 单位:mega bytes
  • 申请最小值:"yarn.scheduler.minimum-allocation-mb" 默认值:1024
  • 申请最大值:"yarn.scheduler.maximum-allocation-mb" 默认值:8192
cpu
  • 单位:vcore
  • 申请最小值:"yarn.scheduler.minimum-allocation-vcores" 默认值:1
  • 申请最大值:"yarn.scheduler.maximum-allocation-vcores" 默认值:4

MR作业Container资源计算方式,布布扣,bubuko.com

MR作业Container资源计算方式

原文:http://blog.csdn.net/liangliyin/article/details/20729477

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!