我们正在考虑使用 Flink SQL 对过去 5-10 分钟内的实时 kafka 数据进行临时分析。为了实现这一点，我们似乎需要扩展 Kafka 连接器，使其仅在给定时间段内读取消息，并使用它来生成有限输入源。
我想知道是否有替代方法。任何建议都将受到欢迎。
问问题
159 次
1 回答
1
Flink Kafka 连接器支持以多种方式设置起始位置，包括myConsumer.setStartFromTimestamp(...). Kafka 表连接器似乎支持这些相同的选项。
如果你想使用 Flink 的 SQL 客户端，你可能需要编写一个瘦包装器来处理从 10 分钟前开始计算时间戳并相应地设置起始 Kafka 偏移量。
于 2019-02-16T13:24:03.497 回答