首页 > 其他 > 详细

running beyond virtual memory limits 错误

时间:2020-03-21 19:06:42      阅读:57      评论:0      收藏:0      [点我收藏+]

------------恢复内容开始------------

1.在练习hive跑任务过程出现如下错误:

技术分享图片

 

2.根据报错信息:

    hadoop运行时使用的虚拟内存不足,从机上运行的Container想用更多的虚拟内存,而被NodeManager kill ,致使任务失败

3.解决方法:

   进入hadoop安装目录/etc/hadoop/

  3.1.在yarn-site.xml文件中添加如下配置: 

<!--当运行时所需内存超过虚拟内存限制是否强制关闭container-->
<property>
  <name>yarn.nodemanager.vmem-check-enabled</name>
  <value>false</value>
  <description>Whether virtual memory limits will be enforced for containers</description>
</property>
<!--设置容器的内存限制时虚拟内存与物理内存之间的比率-->
<property>
  <name>yarn.nodemanager.vmem-pmem-ratio</name>
  <value>4</value>
  <description>Ratio between virtual memory to physical memory when setting memory limits for containers</description>
</property>

3.2.在mapred-site.xml文件中添加如下配置:修改map和reduce任务时内存配置(value需要根据自己的虚拟机内存及应用修改

<property>
<name>mapreduce.map.memory.mb</name>
  <value>2048</value>
</property>
<property>
  <name>mapreduce.reduce.memory.mb</name>
  <value>2048</value>
</property>

------------恢复内容结束------------

running beyond virtual memory limits 错误

原文:https://www.cnblogs.com/motivated-qinglin/p/12540593.html

(1)
(1)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!