首页 > 其他 > 详细

MapReduce超时原因(Time out after 300 secs)

时间:2015-11-06 16:06:48      阅读:1601      评论:0      收藏:0      [点我收藏+]

  目前碰到过两种原因导致Time out after 300 secs。

1. 死循环

  这是最常见的原因。显式的死循环很容易定位,隐式的死循环就比较麻烦了,比如正则表达式。曾经用一个网上抄来的邮箱正则表达式匹配百亿条数据,最终导致一个map阶段的attempt频繁超时重试,最后自己重写了一个简化版的表达式,问题解决。

2. 节点崩溃

  这种比较少见,而且一般会出现在reduce阶段。因为map阶段的中间结果是保存在计算节点本地的,因此数据只有单一备份。如果reduce阶段时某个节点崩溃,会导致reduce计算节点无法获取该map节点的数据,造成Bad response ERROR for block。解决办法很简单,重新跑一次就好了。

 

补充:如果允许丢掉部分异常数据的话,可以设置 mapreduce.map.skip.maxrecords 和 mapreduce.reduce.skip.maxgroups 两个参数,分别表示map阶段可以跳过的最大错误记录数和reduce阶段可以跳过的最大错误组数。

MapReduce超时原因(Time out after 300 secs)

原文:http://www.cnblogs.com/rouge/p/4942736.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!