apache-samza - is there a alternative choice for job.coordinator.system

Question

I want to use samza, but case is our kafka topic creation is limited (topic creation should be reviewed and should has concrete porpose). So, is there any other choice for "job.coordinator.system"? And I need the usage intro. Thanks a lot!

Answer 1

从 Samza 0.12.0 开始，Samza 自动创建 3 类流：

1. 用于持久存储作业模型信息的协调器流，例如主机关联映射。
2. 检查点流存储检查点以用于输入流的消耗
3. 启用更改日志的任何商店的更改日志流

对于这些主题中的每一个都使用 Kafka 日志压缩主题是很常见的，但理论上任何系统实现都可以工作。你甚至可以定义你自己的。

关于 Samza 的流抽象的一些细节可以在这里找到： http ://samza.apache.org/learn/documentation/0.12/container/streams.html