kafka 消费者使用 librdkafka（高级消费者）连接到 kafka 集群并订阅 10 个主题并消费数据。有分配分区事件。

由于无法访问哪个集群而出现网络问题。与小组协调员失去联系，心跳卡住了。有撤销分区事件，其中代码对消费者调用 unassign。

当集群重新启动时，消费者没有消耗任何数据，尽管它在 while true 循环中调用消耗，超时为 1 秒。

消费者连接集群后是否需要重新订阅主题？检测消费者是否在代码中连接到集群的可靠方法是什么？

我的目标集群启用了 kerberos。从控制台，生产者连接正在工作。

我在 bash_profile 中添加了以下条目以传递 jaas.conf 和 krb5.conf

这是 client.properties 设置。

security.protocol=SASL_PLAINTEXT

sasl.kerberos.service.name=kafka

我正在使用librdkafka向 Kafka 生成消息security.protocol并sasl.kerberos.service.name为 kafkaconfigmap对象进行配置。但是连接没有发生。

我如何集成jaas.conf和krb5.conf通过 GoLang。

错误：

[thrd:sasl_plaintext://targetHost:port/bootstrap]：sasl_plaintext://targetHost:port/bootstrap：初始化 SASL 身份验证失败：SASL 握手失败（开始（-1））：SASL（-1）：一般失败： GSSAPI 错误：杂项故障（查看文本（服务器（kafka/targetHost）在查找“targetHost”时未知）（缓存结果，128 秒内超时）

我正在尝试使用 c++ 使用 kafka msg。我已经安装了 librdkafka 并尝试了示例https://github.com/edenhill/librdkafka/blob/master/examples/rdkafka_example.cpp

现在我关心的是如何将用户名、密码和信任库传递给 kafka 消费者？

我按照以下步骤操作：

1. 如果是 x86，则将 librdkafka.dll 复制到 C:\Windows\SysWOW64，否则复制到 C:\Windows\System32。不要复制到两个文件夹。
2. 然后在命令提示符下运行 regsvr32 librdkafka.dll。
3. 然后将 php_rdkafka.dll 复制到 PHP 的 ext 文件夹中。
4. 然后添加extension=php_rdkafka.dll到您的 php.ini 文件中
5. 重启PHP，完成！！！

但是当我运行 regsvr32 librdkafka.dll 时出现 windows 无法注册的错误.dll。如何在 Windows 上安装 librdkafka？

我正在使用confluent-kafka-python和librdkafka。

但我认为，confluent_kafka.Consumer.consume(0)不能触发stats_cb。

Consumer_consume(0) => rd_kafka_consume_batch_queue => rd_kafka_q_serve_rkmessages

中，在中rd_kafka_poll_cb被调用while (cnt < rkmessages_size) loop。如果rkmessages_size为 0，则不调用。

在这种情况下，rk_rep可能会变得越来越大。

如何触发 stats_cb in Consumer_consume(0)？谢谢

描述

我正在尝试设置消费者，初始化完成并开始接收消息之前需要 5 秒钟。我正在使用CppKafka（librdkafka 包装器），但我怀疑这是我错误配置的问题，而不是库问题。

我之前在 docker 中使用 kafka，启动延迟为 10 秒。我现在在 Kafka 网站上使用这个快速入门，现在启动延迟为 5 秒。

我有一个看起来像这样的 ConsumeOne 函数。

在另一个线程中，我正在记录您可以在应用程序日志中看到的时间

应用程序日志

卡夫卡日志

打印此内容时，直到 5 秒标记前什么都不显示：

它似乎有点类似于这个问题：https ://github.com/edenhill/librdkafka/issues/1597 但我使用的是最新的代理版本。

我使用 python 消费者/生产者进行了测试，没有遇到任何启动延迟。任何帮助，将不胜感激。

• librdkafka 版本：librdkafka-1.3.0-1
• 阿帕奇卡夫卡版本：kafka_2.12-2.4.0
• 操作系统：Antergos / Arch

更新

获取最新的 librdkafka (master - e2dee3ad047f6783e5363cdd75e7c009e0c99a8d) 后，启动时间现在降至 3 秒。这是新的日志：

Local: Timed out如果超时时间小于 2 秒，我的制作人现在也会抛出异常

我正在尝试使用 Kafka 发送约 10Mb 的消息。我知道它的默认大小是 1Mb，但这是一个硬限制吗？librdkafka 可以支持 >10Mb 吗？如何设置？

pypi 上当前的 Confluent-Kafka 包似乎记录了一个问题：

我有一个带有以下代码的 Dockerfile，该代码在问题发生之前一直有效：

在该问题的 github 页面上，有一些解决该问题的建议，我已经尝试过这样的建议：

1）没有工作的解决方法：

2）没有工作的解决方法：

我想知道是否有一种解决方法我没有尝试过有人可以建议让我继续，直到他们解决这个问题..

我正在为 Hololens 创建一个 UWP 应用程序，我需要 Kafka-Client。我使用了来自 confluent-kafka-dotnet ( https://github.com/confluentinc/confluent-kafka-dotnet ) 和 librdkafka ( https://github.com/edenhill/librdkafka )的预构建 .dll，但是当我运行时我收到该错误的应用程序：

“无法加载 DLL 'kernel32.dll'：找不到指定的模块。”

我认为问题出在 librdkafka.dll 上，因为这些文件是为标准架构（如 x86 或 x64（桌面）而不是 UWP 发布的）发布的。

那么，你能给我一些建议如何解决这个问题吗？是否需要将 librdkafka 重建为通用 Windows 平台的 VC++ 项目？

提前致谢

我对 goroutine 的基本理解是它是一种创建线程的简化方法。

查看confluent-kafka-go库，以以下代码为例：

这是如何工作的？它会不会只运行一次并在遍历所有内容后停止工作p.Events()？如何go知道不中止 goroutine 而是继续轮询p.Events()——即使它在大多数情况下都是空的？