问题标签 [pykafka]

问问题

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

52 问题
Newest
Active
Bountied
318
Unanswered
0 投票
1 回答
56 浏览

json - 我在使用 PyKafka 在 Kafka 上发布 JSON 消息时遇到问题

我正在使用 pykafka 库在 Kafka 上发布消息。我的数据集是 JSON

我的要求是生成 2 条 kafka 消息，使用 PyKafka 为上面的每个 JSON 字符串生成 1 条。到目前为止，我已经尝试过以下方法。

我已将 JSON 加载到文件中（我最初的要求）。上面的代码有效，但它没有将第一个 JSON 字符串作为一个整体，而是将字符串中的每个字符都作为一条消息。

我的要求是将每个 JSON 字符串作为单独的 Kafka 消息发布。

谢谢

0 投票
1 回答
21 浏览

python - 同一组下不同分区上的Kafka消费者仍在间歇性地消费相同的消息

我有 1 个消费者组和 5 个消费者。也有 5 个分区，因此每个消费者获得 1 个分区。

CLI 还表明

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic Topic-1 --from-beginning --partition {n} 正确显示每个分区的不同消息。

但是，我经常看到 2 个或更多消费者处理相同的消息并且是 kafka 的新手，我真的无法找出问题所在。

我正在使用 pykafka 来消费消息：


12345678910