首页 > 其他 > 详细

【异常】The channel is full or unexpected failure. The source will try again after 1000 ms

时间:2019-12-28 23:46:54      阅读:441      评论:0      收藏:0      [点我收藏+]

Flume采集的控制台提示:
The channel is full or unexpected failure. The source will try again after 1000 ms

这个是因为当前被采集的文件过大,深层的原因是文件采集的速度和sink的速度没有匹配好。所以应该可以通过增大keep-alive的值解决:
#channel中最多缓存多少
a1.channels.c1.capacity = 5000
#channel一次最多吐给sink多少
a1.channels.c1.transactionCapacity = 2000
#event的活跃时间
a1.channels.c1.keep-alive = 10

或者写到HDFS使用压缩,可以通过压缩来节省空间和网络流量,但是会增加cpu的消耗。

【异常】The channel is full or unexpected failure. The source will try again after 1000 ms

原文:https://www.cnblogs.com/huomei/p/12113223.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!