什么是Trigger
Flink中Trigger用于定义何时对窗口进行计算并发出结果,它的触发条件可以是时间也可以是某些特定条件。对于时间窗口而言,默认Trigger是处理时间或Watermark大于窗口结束时间时触发。
在Flink窗口机制中,还有一个窗格的概念,它将窗口划分成多个规则的部分,这些部分可看作子窗口,可简单理解为对窗口再次分片。窗格则定义为一组key相同(分区操作),并且位于同一个窗口中的元素。每个窗格都有一个Trigger对象。
先Trigger类中的几个重要函数:
// 每当有元素添加到窗口都会调用
public abstract TriggerResult onElement(T element, long timestamp, W window, TriggerContext ctx) throws Exception;
// 在处理时间计时器触发时调用
public abstract TriggerResult onProcessingTime(long time, W window, TriggerContext ctx) throws Exception;
// 在事件时间计时器触发时调用
public abstract TriggerResult onEventTime(long time, W window, TriggerContext ctx) throws Exception;
// 有状态的触发器相关,并在它们相应的窗口合并时合并两个触发器的状态,例如使用会话窗口。
public boolean canMerge() {
return false;
}
// 该函数会在清除窗口是调用
public abstract void clear(W window, TriggerContext ctx) throws Exception;
TriggerResult
每次调用触发器都会生成一个TriggerResult,它用于决定窗口接下来的行为。
CONTINUE: 不做任何处理
FIRE:触发计算
PURGE:完全清除窗口内容,并删除窗口自身及元数据。
FIRE_AND_PURGE:先进行窗口计算(FIRE),随后删除所有状态及元数据(PURGE)
Flink的内置Trigger:
内置Trigger | 说明 |
---|---|
ProcessingTimeTrigger | 一次触发,machine time大于窗口结束时间时触发 |
EventTimeTrigger | 一次触发,watermark大于窗口结束时间时触发 |
ContinuousProcessingTimeTrigger | 多次触发,基于processing time的固定时间间隔 |
ContinuousEventTimeTrigger | 多次触发 ,基于event time的固定时间间隔 |
CountTrigger | 多次触发,基于element的固定条数 |
DeltaTrigger | 多次触发,当前element与上次触发trigger的element做delta计算,超过threshold(阈值)时触发 |
PurgingTrigger | trigger wrapper,当nested trigger时触发,额外会清理窗口当前的中间状态 |
- EventTimeTrigger
当任务中时间语义定义为EventTime,做时间窗口计算时,默认触发器为EventTimeTrigger,也可以这样定义:
.keyBy(_.userId)
.timeWindow(Time.minutes(5))
.trigger(EventTimeTrigger.create())
看看EventTimeTrigger的源码:
@Override
// 对每一个到达窗口的元素调用
public TriggerResult onElement(Object element, long timestamp, TimeWindow window, TriggerContext ctx) throws Exception {
if (window.maxTimestamp() <= ctx.getCurrentWatermark()) {
// if the watermark is already past the window fire immediately
// window的最大时间戳比watermark小,该window需要立刻进行计算
return TriggerResult.FIRE;
} else {
// 注册一个event time事件,当watermark超过window.maxTimestamp时,会调用onEventTime方法
// 需要注意的是,在每个窗口中,每个key和特定的时间戳只能有一个计时器
ctx.registerEventTimeTimer(window.maxTimestamp());
return TriggerResult.CONTINUE;
}
}
@Override
public TriggerResult onEventTime(long time, TimeWindow window, TriggerContext ctx) {
return time == window.maxTimestamp() ?
TriggerResult.FIRE :
TriggerResult.CONTINUE;
}
@Override
public TriggerResult onProcessingTime(long time, TimeWindow window, TriggerContext ctx) throws Exception {
return TriggerResult.CONTINUE;
}
@Override
public void clear(TimeWindow window, TriggerContext ctx) throws Exception {
ctx.deleteEventTimeTimer(window.maxTimestamp());
}