I am using StreamSets Data Collector (SDC) web tool to create a pipeline that transfers data from my local system to Kafka through a Kafka producer. However, I have to first manually create the topic in which I want to store my data. Is it possible to create the topic via StreamSets?
问问题
406 次
1 回答
0
默认情况下，Kafka 配置为自动创建主题。您可以num.partitions在代理配置中设置以将每个主题的分区数从其默认值1.
如果你想从管道创建主题，你可以从管道启动事件触发一个shell 执行器来创建一个主题。
请注意，不可能从阶段事件创建主题，因为这些事件在数据发送到目的地后触发，并且您希望主题在管道开始发送数据之前存在。
于 2017-09-21T06:23:49.483 回答