首页 > 其他 > 详细

Premature EOF from inputStream错误的不同原因

时间:2014-12-23 12:35:47      阅读:142      评论:0      收藏:0      [点我收藏+]

    今天例行的任务报Premature EOF from inputStream的错误(具体log被刷屏刷掉了)。根据这个关键信息去网上搜了下,有说lzo压缩指定方式不对的MapReduce使用lzo压缩注意,也有说节点或者通信出问题,或者文件操作超租期,实际上就是data stream操作过程中文件被删掉了,后者的意思在后知后觉下其实已经比较接近我遇到的情况了。

    因此,我先检查了集群的节点,都是正常;而lzo的能性也因为最近没有对任务做更新也就排除了。

    最后一个偶然去检查了下存储的数据,发现有一个lzo文件size是0,检查其它天的文件没有这样的情况,直觉告诉我问题就出在这儿。问了同事也发现昨天有个机子日志打满,导致产出的lzo文件也为0,于是更加确定是这个问题。

    0size的文件现在已经移除也补上了正常的数据。如果不是这个原因,我待会儿再来吐槽。

Premature EOF from inputStream错误的不同原因

原文:http://my.oschina.net/iuranus/blog/359482

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!