0

我为我的数据存储（Amppol AD​​S）开发了 kafka-sink-connector（使用 confluent-oss-3.2.0-2.11，连接框架），它将来自 kafka 主题的数据存储到我商店中的相应表中。

只要 kafka 服务器和 ADS 服务器启动并运行，一切都按预期工作。

需要有关特定用例的帮助/建议，其中事件在 kafka 主题中被摄取，并且接收器组件 (ADS) 下的组件 (ADS) 已关闭。这里的期望是每当接收器服务器出现时，应该将之前在 kafka 主题中摄取的记录插入到表中；

请告知如何处理这种情况。

连接框架中是否有任何支持可用于此..？或者至少一些参考资料会很有帮助。

4

1 回答 1

0

SinkConnector 偏移量在 Kafka 上的 _consumer_offsets 主题中针对您的连接器名称进行维护，当 SinkConnector 重新启动时，它将从 Kafka 服务器从存储在 _consumer_offsets 主题中的先前偏移量中选择消息。

因此，您不必担心管理偏移量。这一切都是由 Connect 框架中的工作人员完成的。在您的场景中，您只需重新启动接收器连接器即可。如果消息由源连接器推送到 Kafka 并且在 Kafka 中可用，则可以随时启动/重新启动接收器连接器。

于 2017-04-13T04:34:50.920 回答