google-cloud-dataflow - KafkaIO 检查点持久性与 Google Dataflow Runner

Question

我试图了解偏移量和组管理如何与带有 KafkaIO 阅读器的 Google Dataflow 运行器一起工作。更具体地说，我试图了解偏移管理的工作原理：

• 如果设置了 group.id 配置并且禁用了自动提交和 commitOffsetsInFinalize。
• 如果未设置 group.id 配置，偏移量和组管理如何工作？

任何指向正确方向的代码/文档参考都值得赞赏。

Answer 1

KafkaIO 阅读器完全是 Apache Beam 的一部分。Google Cloud Dataflow 不会将此来源与任何其他 Beam 来源区别对待。

您可以在https://github.com/apache/beam/tree/master/sdks/java/io/kafka/src/main/java/org/apache/beam/sdk/io/kafka找到它的代码（在各种文件）。我不知道除Javadoc之外的任何参考文档。