kafka-consumer-api - 如何使用 Kafka-Stream 按间隔从 Kafka 读取记录

Question

我想在 Kafka-Stream 消费者中使用从 Kafka 读取记录，有一个选项可以在每个给定的时间间隔读取记录吗？例如每 1 分钟？

Answer 1

我不确定我是否正确理解了您的问题。但是，我认为有多种方法（取决于您实际想要实现的目标，从问题中不清楚）。

1. 使用 Kafka Streams DSL (Kafka 0.10)：使用 Kafka Streams（一个 Java 流处理库），您可以将窗口聚合指定为任意大小的翻转窗口
2. Exploit timestamps (Kafka 0.10)：如果你想使用KafkaConsumer，你可以读取消息并检查它们的时间戳以按时间间隔分块数据
3. 基于系统时间（所有 Kafka 版本）：只需从 Kafka 读取消息并将消息放入系统时间的间隔基础中。即，在您处理下一条记录之前，您检查您的本地时钟以间隔放置消息。