问题标签 [librdkafka]

我希望 kafka 消费者使用来自主题的特定/指定分区的消息

它使用带有开关的kafka-console-consumer.sh --partition partition_number

我正在使用来自librdkafka的kafka_complex_consumer_example.c代码

在静态代码分析中，我觉得它可以达到我的目的，但我无法找出要传递给 main(int argc & char **argv) 函数的确切命令行参数，以便代码运行并开始使用主题的特定分区。

看看这里的代码 - rdkafka_complex_consumer_example.c

librdkafka 的完整 github 代码在这里 FYR

如果此代码不能达到目的，请指定一些其他可以提供帮助的代码

根据我的阅读，带有 acks=0 的 Kafka 基本上只是将消息推送到生产者缓冲区。它不等待任何类型的确认。有了这个，我想知道它与异步生产者有什么不同？acks 如何影响异步生产者？

我一直在为我在 Debian 上使用 node:erbium 映像运行的节点应用程序尝试 LibrdKafka 库，我在 docker 文件中使用了以下内容。

我现在有点困惑如何在应用程序代码中使用它，所以我在 package.json 中尝试了一个节点包“node-rdkafka”：“2.10.0”并在消费者中要求它，但我收到了这个错误'/node_modules /node-rdkafka/build/Release/node-librdkafka.node: undefined symbol: _ZN2v820EscapableHandleScope6EscapeEPPNS_8internal6ObjectE'每次我启动我的应用程序时，我的消费者PM2 日志：App [consumer-xyz:6] 通过信号 [0] 退出SIGINT]这发生了。任何建议/帮助/建议都会有所帮助。谢谢

嗨，我一直在尝试为我在 debian 上运行的 nodejs 应用程序安装 librdkafka，

1. 我在 package.json 中使用 node-rdkafka npm 模块
2. 在 docker 文件中，我有 git clone librdkafka 并按照提到的文档安装它。
3. 一旦我运行应用程序，它就会在 node-rdkafka 中显示未定义的符号。任何建议我们如何安装它并在 nodejs 代码中要求它。我正在使用铒版本的节点，即。12.19 版本。

谢谢你。

我正在处理 kafka 和 php，我是初学者，已经在服务器上正确设置了 kafka，

现在我在本地我已经安装了：xamp/php 上的 librdkafka.dll 和 xamp/php/ext 上的 php_rdkafka.dll

我在 php.ini 上添加了这个：

扩展=php_rdkafka.dll

然后，我创建了一个包含以下代码的 php 页面：

我需要在生产者中将输入作为结构而不是字符串，并使用 librdkafka 库在消费者中打印。我对生产者代码进行了更改，甚至能够获取结构，但是在消费者中，如果需要一些帮助，它不会显示 plz 帮助更多变化

这是代码生产者代码：

消费者代码：

我试图在 linux 服务器中托管的 drupal 9 站点上安装 rdkafka，我尝试了这个命令

然后我将它添加到 php.ini

但是当打印 phpinfo(); rdkafka 库尚未安装

您好，我在 php 中使用 Kafka。特别是这个库：\RdKafka。这是我的脚本，它工作正常，但我一个接一个地接收消息，但我希望得到 10 个 10 个。需要一些帮助来实现这一点，因为我是使用 Kafka 的新手。

消费者连接到 Kafka 并正确获取消息。

我正在尝试使用 Kafka 在用 Rust 和 Node.js 编写的 2 个微服务之间进行通信。

我使用 actix-web 作为 Web 框架，使用 rdkafka 作为 Rust 的 Kafka 客户端。在 Node.js 方面，它从数据库中查询内容并通过 Kafka 将其作为 JSON 返回到 Rust 服务器。

流量：

逻辑是请求到达 Actix Web 上的端点，然后创建一条消息向另一个微服务请求某些内容，并等待它发回（通过 Kafka 消息密钥验证），并将其作为 HTTP 响应返回给用户。

我让它工作了，但性能很慢（我正在用 进行压力测试wrk）。

我不确定为什么它的执行速度很慢，但是当我深入挖掘时，我发现如果我在 Node.js 端添加延迟 5 秒，然后我向 actix-web 创建 2 个请求，其中请求相差一秒，它将以 5 秒和 10 秒的延迟响应。

基准是每秒大约 3k 个请求，使用以下命令：

这让我猜想某些东西可能会阻塞每个请求的线程。

这是源代码和回购：

我在 GitHub 上发现了一些已解决的问题，建议使用演员代替，我也将其作为单独的分支。

这比主分支的性能更差，每秒执行大约 200-300 个请求。

我不知道瓶颈在哪里，也不知道是什么阻碍了请求。

我正在使用https://github.com/zendesk/racecar（它在后台使用https://github.com/appsignal/rdkafka-ruby ，这是https://github.com/edenhill/librdkafka/的 Ruby 包装器) 消费一个 Kafka 流，我时不时收到这个错误Local: Unknown partition (unknown_partition)

调用时似乎会引发此错误rd_kafka_offset_store，对store offset of a message to be used in the next commit of this consumer.

检查日志config.log_level = "debug"看起来像上面的错误总是在前面：

第一次在这里使用 Kafka，我不知道可能是什么。