首页 > 其他 > 详细

即将上线的YARN服务器面临的一系列填坑笔记

时间:2018-10-20 12:41:00      阅读:184      评论:0      收藏:0      [点我收藏+]

              即将上线的YARN服务器面临的一系列填坑笔记

                                          作者:尹正杰

版权声明:原创作品,谢绝转载!否则将追究法律责任。

 

 

  折腾了一个星期,终于让开发将数据跑起来了,可通过yarn的webUI界面,发现这里的核心数和内存都对应不上,相差的太远了,我的服务器都是32core,128G内存,12*8T的硬盘。理论上的集群可以用的内存应该接近2T。可是我发信内存只有四分之一。

技术分享图片

   接下来,我们可以通过这个界面获取一些信息,如下图,点击“about”,可以看到有18个节点(20台机器,2gNN节点,18个DN节点)

技术分享图片

  点击上面的按钮,我们可以查看到18个几点的详细信息,因此我们可以一目了然的看出来我的集群配置如下:

技术分享图片

   接下来我们去CM上查看一个配置参数:yarn.scheduler.maximum-allocation-mb

技术分享图片

   于是,我修改了上面的值,将其改为64G,如下图,点击保存并重启yarn服务

技术分享图片

   按照上述配置修改后,发现依旧不对,如下图:

技术分享图片

 

即将上线的YARN服务器面临的一系列填坑笔记

原文:https://www.cnblogs.com/yinzhengjie/p/9821166.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!