apache-beam - 如何在从 Kafka 源读取的 Apache Beam 中模拟事件延迟

Question

我正在尝试在流式 Beam 管道中调整窗口参数。我正在修改的参数是 withAllowedLateness、触发器、间隔、窗格触发等。但是我不知道如何在我的 Kafka 消费管道中触发延迟以测试更改。有人可以建议如何创建事件延迟吗？

谢谢

Answer 1

您是使用 kafka 发布时间作为窗口时间还是自定义字段？大多数时候我们在自定义日期字段上做窗口（大多数情况下更有意义，因为你想在一些逻辑时间分组，以防发布者有一些问题并且它也会延迟发布消息）然后它是只需发送包含过去日期时间的自定义日期字段的事件，就可以很容易地模拟“迟到的数据”。

您在使用数据时是否使用订单消息？如果是这样，您可以继续将数据发布到您的 kafka 主题，而根本不阅读它。然后在您有大量积压时启动 Beam 作业，大多数情况下，当有积压时，消息没有按顺序读取，导致窗口关闭后有更多数据到达，这是迟到的数据。