首页 > 其他 > 详细

Atlas运行时资源不足报错 -bash: fork: retry: 资源暂时不可用 Out of system resources

时间:2020-04-16 22:19:24      阅读:51      评论:0      收藏:0      [点我收藏+]

目的:运行Atlas并使用Azkaban执行操作任务

环境:Centos 6 内存大小:12G 启动下面的任务后还剩内存将近5G

问题: 当mysql_to_hdfs_db和其他job同时运行时集群很容易就会报错

  Cannot create GC thread. Out of system resources. 

  OOM等奇怪的错误。

  最重要的是极端情况下会报错:-bash: fork: retry: 资源暂时不可用

原因:修改前非root用户max user processes 只有1024

解决方案:

  sudo vim /etc/security/limits.d/90-nproc.conf  ,将nproc修改为65535并重新启动计算机

   技术分享图片

 

 

启动的任务:1. hadoop 集群

       2. Zookeeper

       3. Kafka

       4. Hbase

       5. Solr

       6. Hive

       7. Azkaban

       8. Atals 

技术分享图片

 

 

 mysql_to_hdfs_db使用sqoop想HDSF中导数据,占用资源比较多。

Atlas运行时资源不足报错 -bash: fork: retry: 资源暂时不可用 Out of system resources

原文:https://www.cnblogs.com/mskf-bolgs/p/12716105.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!