首页 > 其他 > 详细

hadoop异常处理之exceeds the limit of concurrent xcievers 256

时间:2014-02-23 01:19:42      阅读:386      评论:0      收藏:0      [点我收藏+]

异常描述

java.io.IOException: xceiverCount 258 exceeds the limit of concurrent xcievers 256
        at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:165)

查看datanode日志存在*:50010:DataXceiver error processing WRITE_BLOCK operation  src


异常分析

文件操作超租期,实际上就是data stream操作过程中文件被删掉了。之前也遇到过,通常是因为Mapred多个task操作同一个文件,一个task完成后删掉文件导致。

不过这次在hdfs上传文件时发生了这个异常,导致上传失败


解决方案

修改hdfs-site.xml
  <property>
        <name>dfs.datanode.max.xcievers</name>
        <value>8192</value>
</property>
拷贝到各datanode节点并重启datanode即可


hadoop异常处理之exceeds the limit of concurrent xcievers 256

原文:http://blog.csdn.net/slx_2011/article/details/19685733

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!