stream - Apache Flink 度量来计算迟到的元素

Question

我想测量有多少事件在按事件的特定特征分组的允许延迟范围内到达。我们假设特定类型的事件有更多的迟到，并希望验证这一点。

我想到的进行测量的地方是我们在 onElement 方法中的自定义触发器，因为这是我们知道事件是否迟到的地方。然而，在 SlidingEventTimeWindows 的情况下，这意味着如果单个元素迟到超过slide.

有什么建议么？

Answer 1

您可以与窗口分开执行此操作。您可以将允许的延迟设置为零，并将所有延迟事件转移到侧面输出。然后，您可以通过感兴趣的功能键入延迟事件流，并使用 RichFlatMapFunction 或 KeyedProcessFunction 对事件进行计数，然后可以将其报告为自定义指标，或发送到接收器。