问题标签 [librdkafka]

可能是一个菜鸟问题：

我已经从 bitnami/kafka:2 启动了一个 Bitnami Kafka Container 在启动消息中它声称是版本 2.5 现在我想使用 enable.idempotence 但是当我尝试使用 librdkafka 1.4.0 时，我收到一条错误消息：

从我天真的观点来看，2.5 似乎 >=0.11.0 ...但我可能遗漏了一些东西。有人可以帮忙吗？

我有一个 CPP Kafka 消费者，它使用 assign 来指定分区。因为我使用 assign() 分配分区，而不是使用我很好的 subscribe() 。正因为如此，我的重新平衡没有发生，我也很好。

问题 1：我想了解自动提交在这里是如何工作的。假设是否有 2 个消费者都具有相同的 groupId。他们俩都将获得所有更新，但有人可以帮助我了解提交将如何发生吗？如果只有一个消费者，则使用消费者组 ID 进行提交。但它如何与 2 个消费者一起工作。在这些情况下，我也没有看到任何提交失败。

问题 2：我分配分区时 rd_kafka_offsets_store 是如何工作的。他们进展顺利还是我应该在这些情况下使用订阅？

我试图在我的 docker 容器上运行来自 alpine 发行版的 librdkafka 1.3.0 版：

但在构建图像时出现此错误：

有人可以告诉我这里可能有什么问题吗？

我有一个 php 程序，它有 2 个消耗 kafka 消息的 php 进程。但有时它会显示诸如“Kafka 消费者组授权失败”之类的错误。2个进程之间有什么关系吗？它们具有相同的主题和组 ID，当然 ACL 策略类型是 GSSAPI。但我真的不知道为什么它只是偶尔发生？

这是代码：

我如何确定一个主题是否被授权？

我需要这个，因为在我的消费者中，我获得了所有已知主题的元数据，然后进行分配调用。元数据调用不会给出未经授权的主题和不存在的主题。如果一个主题不存在，我会创建一个，如果一个主题是未经授权的，我必须失败。但我没有办法区分不存在和未经授权的主题。

我正在使用cppkafka 库，它是 librdkafka 的包装器，而 C++ Kafka 客户端则用于非常简单的消息流式传输任务。我的消费者类行为怪异，因为接收消息需要相当长的时间。更准确地说，每次接收可执行文件运行并保持运行时，消费者可以正确接收第一批消息，但后续消息大约需要 15 秒才能到达。任何人都知道什么可能性会导致这样的事情（kafka 配置、库特定问题或我的愚蠢错误）？一百万谢谢。

我的接收线程如下

有没有办法识别 librdkafka 中的组长？

由于无法通过自定义分区策略，因此我有一些技巧可以达到目的。如果不是我应该退出，我的特定消费者必须是组长。

或者有没有办法确保没有其他消费者使用当前的消费者组 id 运行？

我在 php 中有一个生产者，它发布到队列。我正在使用php-rdkafka库。

以下是代码：

我有 2 个 python 消费者从队列中消费。

该主题有 10 个分区。大多数情况下，当一条新消息产生时，它会进入与以前相同的分区，该分区正被单个消费者消费，因此其他消费者处于空闲状态。

是否有任何其他分区器分配我可以在生成消息时使用的东西？

一个简单的问题，我正在冒险使用 php-rdkafka ( https://github.com/arnaud-lb/php-rdkafka ) 进入 Kafka。

我浏览了文档，但我找不到要生成到现有主题的语法，除非语法 newTopic 将插入到我怀疑的现有主题中。我不断抛出 Java 错误，而且我不能很好地调试 Java 错误。我正在向那些一直在使用该框架的人寻求帮助，它的语法是否正确？请指教

我node-rdkafka用来消费来自 kafka 的消息。statistics.interval.ms如果设置，消费者进程退出。

这是代码：

此代码仅使用一条消息然后退出。我也检查了process.on事件，但没有引发错误。如果我删除'statistics.interval.ms': 5000，那么一切正常