区分理解Flink水印延迟与窗口允许延迟的观点

水印延迟(WaterMark)

(1) 水印

由于采用了事件时间，脱离了物理挂钟。窗口不知道什么时候需要关闭并进行计算，这个时候需要借助水印来解决该问题。当窗口遇到水位标识时就默认是窗口时间段内的数据都到齐了，可以触发窗口计算。

(2) 水印延迟

设置水印延迟时间的目的是让水印延迟到达，从而可以解决乱序问题。通过水印延迟到达让在延迟时间范围内到达的迟到数据可以加入到窗口计算中，保证了数据的完整性。当水印到达后就会触发窗口计算，在水印之后到达的迟到数据则会被丢弃。

区分理解Flink水印延迟与窗口允许延迟的概念

窗口允许延迟(allowedLateness)

区分理解Flink水印延迟与窗口允许延迟的概念

使用 StreamAPI 时，在进行开窗后可设置 allowedLateness 窗口延迟。官网中对其解释如下：

默认情况下，当水印到达窗口末端时，迟到元素将会被删除。但Flink允许为window operators指定允许的最大延迟。允许延迟指定元素在被删除之前延迟的时间，默认值为0。当元素在水印经过窗口末端后到达，且它的到达时间在窗口末端加上运行延迟的时间之内，其仍会被添加到窗口中。根据所使用的触发器，延迟但未被丢弃的元素可能会再次触发窗口计算。EventTimeTrigger就是这种情况。为了做到这一点，Flink保持窗口的状态，直到它们允许的延迟到期。一旦发生这种情况，Flink将删除窗口并删除其状态，正如窗口生命周期部分中所描述的那样。

简单理解：通常在水印到达之后迟到数据将会被删除，而窗口的延迟则是指数据在被删除之前的允许保留时间。也就是说，在水印达到之后迟到数据本该被删除，但是如果设置了窗口延迟，那么在水印之后到窗口延迟时间段内到达的迟到数据还是会被加入到窗口计算中，并再次触发窗口计算。

一个Demo 两个猜想

下面我用一个 Demo 和两个猜想来帮助大家加深理解这两个概念。

例子：接收 Kafka 数据，数据为 JSON 格式如：{"word":"a","count":1,"time":1604286564}。我们开一个 5 秒的 tumbling windows 滚动窗口，以 word 作为 key 在窗口内对 count 值进行累加。同时设置水印延迟 2 秒，窗口延迟 2 秒