apache-kafka - kafka-consumer-groups CLI 未显示 node-kafka consumer groupf

Question

我有一个在由 node-kafka 提供支持的 node.js 上运行的 kafka 消费者组。当这个消费者组处于活动或非活动状态时，我希望看到 kafa-consumer-groups CLI 报告它。

kafka-consumer-groups CLI 确实显示了控制台消费者，而不仅仅是节点消费者。

我可以在 Kafka Tool 中看到节点消费者组。它没有出现在 Kafa-consumer-groups CLI 输出中

kafka-consumer-groups --bootstrap-server localhost:9092 --list kafka-consumer-groups --bootstrap-server localhost:9092 --group node-kafka-consumer --describe

kafka-consumer-groups CLI 应该显示所有消费者 - 控制台和编程（在我的例子中是 node-kafka 消费者）

Answer 1

这是使用 kafka-node ConsumerGroup 对象将偏移量写入 kafka 而不是 zookeeper 的解决方案

const { ConsumerGroup } = kafka;


const consumerOptions = {
  kafkaHost: 'localhost:9092',
  groupId: 'kafka-node-consumer-group',
  protocol: ['roundrobin'],
  fromOffset: 'earliest'
};

const topics = ['zoo_animals'];

const consumerGroup = new ConsumerGroup(
  { id: 'node-app-1', ...consumerOptions },
  topics
);

consumerGroup.on('message', onMessage);
consumerGroup.on('error', onError);

function onMessage(message) {
  console.log('message', message);
}

function onError(error) {
  console.log('error', error);
}

process.once('SIGINT', function() {
  consumerGroup.close(true, err => {
    if (err) {
      console.log('error closing consumer', err);
    } else {
      console.log('closed consumer');
    }
  });
});```