首页 > 其他 > 详细

[In A Word]In A Word章9 Flink 的WaterMark

时间:2019-09-05 12:19:12      阅读:89      评论:0      收藏:0      [点我收藏+]

watermark是一种衡量Event Time进展的机制,它是数据本身的一个隐藏属性。通常基于Event Time的数据,自身都包含一个timestamp.watermark是用于处理乱序事件的,而正确的处理乱序事件,通常用watermark机制结合window来实现

 

window的触发要符合以下几个条件:

  1. watermark时间 >= window_end_time
  2. 在[window_start_time,window_end_time)中有数据存在

同时满足了以上2个条件,window才会触发。


watermark是一个全局的值,不是某一个key下的值,所以即使不是同一个key的数据,其warmark也会增加.

[In A Word]In A Word章9 Flink 的WaterMark

原文:https://www.cnblogs.com/szss/p/11464845.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!