apache-kafka - 通过 flink 保存点读取的重复消息

Question

我正在尝试使用 Apache Flink 1.6.0 从 kafka 主题中读取一些消息，对其进行转换，最后将它们发送到另一个 kafka 主题。我使用保存点来保存应用程序的状态，以防取消和重新启动。问题是我在重新启动后阅读消息时重复。kafka 版本是 011。感谢任何有用的评论。

Answer 1

Semantic.EXACTLY_ONCE为避免重复，设置kafka生产者时需要通过。有关使用 Kafka 时数据丢失和重复的更多详细信息，请参阅文档。