apache-kafka - 将消息从 Kafka 拉到两个目的地

Question

我能够获取 kafka 消息并将其插入 hdfs。我希望能够使用 BI 工具提取同一组消息。

有没有办法做到这一点？我需要创建 2 个消费者吗？还是2个消费群体？

好心提醒。

谢谢

Answer 1

如果我理解正确，那么您可能正在尝试使用来自单个 Kafka 主题的消息并将它们存储到两个不同的位置。在这种情况下，您可以继续使用两个单独的消费者组，每个消费者组都从同一个主题消费并转储到两个不同的地方。

将kafka.consumer.Consumer.createJavaConsumerConnectoraConsumerConfig作为参数。您通常可以将group_idwhile 填充ConsumerConfig如下

    private static ConsumerConfig createConsumerConfig(String a_zookeeper, String a_groupId) {
      Properties props = new Properties();
      props.put("zookeeper.connect", a_zookeeper);
      props.put("group.id", a_groupId);
      ....
      .... 
      return new ConsumerConfig(props);
   }

从他们的 wiki 页面查看SimpleCosumer示例以获取更多详细信息。

如果您熟悉Apache Storm，那么您可以创建一个拓扑，其中有两个单独的螺栓从KafkaSpout消耗并执行所需的处理。