0

我正在尝试创建一个与 Wikipedia 示例作业非常相似的 Samza 作业。但是，在“WikipediaFeed”对象中，我试图从与启动 Hello-Samza 网格时运行的 Kafka 代理不同的 Kafka 代理获取数据。

我是否必须在“WikipediaFeed”对象中创建一个线程安全的 Kafka 消费者来使用来自不同 Kafka 集群的数据，还是有另一种我没有看到的方式？

编辑 1：这是他们的 Wikipedia 示例的链接。 https://github.com/apache/samza-hello-samza/tree/master/src/main

谢谢

4

1 回答 1

1

在您的示例中，您需要更改此配置（https://github.com/apache/samza-hello-samza/blob/master/src/main/config/wikipedia-feed.properties）：

systems.kafka.consumer.zookeeper.connect=KAFKA_CLUSTER_FRONTING:2181
systems.kafka.producer.bootstrap.servers=KAFKA_CLUSTER_FRONTING:9092
task.inputs=kafka.topic1,kafka.topic2,kafka.topic3

使用 Fronting Kafka 集群更改配置，并在 task.inputs 中添加主题，用“，”分隔

编辑：为了清楚起见，您可以将 Samza 部署到集群 1 并使用来自另一个集群的 Kafka 主题。您需要更改 Samza 属性中的配置。

要查看更多信息：Samza 配置

然后，如果您需要在处理后将消息发送到另一个 Kafka 集群，您将需要在您的配置中创建另一个系统。

查看更多信息：https ://samza.apache.org/learn/documentation/0.13/api/overview.html

于 2017-09-22T15:37:23.473 回答