问题标签 [confluent-kafka-python]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
43 浏览

apache-kafka - 使用 confluent-kafka-python 来自融合云代理的 ProduceResponse

此日志可通过生产者客户端中的debug=all配置获得,用于融合云。confluent-kafka-python

如何ProduceResponse解析rtt?可以使用on_delivery回调来完成吗?

0 投票
1 回答
183 浏览

python - 无法为 Confluent Cloud 设置创建本地 docker-compose 文件

我想使用 docker-compose 创建一个本地 kafka 设置,该设置非常接近地复制融合云中的安全 kafka 设置。

我在 Confluent Cloud 中拥有的集群可以使用

但是我无法在本地创建具有相同配置并且可以使用相同代码连接到的 docker-compose.yml。

这是我在本地 docker-compose 文件方面的内容,但它不起作用这是我尝试使用相同代码连接时遇到的错误

0 投票
0 回答
137 浏览

python - 使用 pyinstaller(4.5) 和 librdkafka 1.7.0 将 python 程序转换为 exe 应用程序时出现错误“confluent_kafka.libs are not found”

在Windows 64位操作系统上的python(python 3.8.11)程序中使用最新版本的librdkafka 1.7.0时工作正常,但是当我将程序转换为exe文件并运行时,我收到以下错误

如何重现

  1. 在 Windows 10 64 位操作系统上安装 Python 3.8.11。
  2. pip install confluent-kafka[avro]
  3. 使用以下代码创建一个程序
  1. 为了转换为 exe 文件,我将使用 'pyinstaller' == 4.5,使用以下命令

pyinstaller --onefile name-of-file-with-above-code.py

0 投票
1 回答
239 浏览

python - 如何检查 Kafka 中的分区数(confluent_kafka)

我正在尝试通过在 0 0 * * * 每天使用 confluent_kafka Python 包来进行批处理 etl。我知道我的流中有 4 个分区,但它可以更改,所以有没有办法检查特定主题中的分区总数?我的消费者就是这样;

如果您能展示实现批量消费者的替代方法,我也将不胜感激。谢谢

0 投票
1 回答
201 浏览

python - 如何在 VSCode 中获取一般 pyd 文件和 confluent_kafka 的参数提示?

我是 kafka 的新手,并尝试通过VScode工作一些基本示例。问题是我似乎无法使参数提示对通过confluent_kafka. 模块本身是一个包装器,我想知道是否有办法让参数提示与其他 python 类和模块的工作方式相同?

在此处输入图像描述

0 投票
1 回答
304 浏览

python - Python confluent_kafka - 列出当前正在收听主题的所有消费者

如何获取正在使用 Confluent_Kafka 收听主题的 consumer.id?

我能够获得消费者群体和主题。但不是消费者姓名/ID。

0 投票
0 回答
270 浏览

python-3.x - Kafka 消费者断开连接 - 断开连接(在状态 UP 684744 毫秒后)

我的卡夫卡消费者有问题。当我在 localhost 中运行我的消费者时,他运行正确,但是当我在另一个环境中运行我的消费者时,他显示此错误

%6|1629836068.968|rdkafka#consumer-1| [thrd:ssl://kafka-events:11101/12101]:ssl://kafka-events:11101/12101:断开连接(在 684744 毫秒后处于 UP 状态)

我不知道这个错误的根本原因是什么。

我的 kafka 消费者是在 python 3 中使用 confluent kafka DeserializingConsumer 开发的。

0 投票
0 回答
89 浏览

python - 如何在 python 脚本中为 sasl.mechanism PLAIN (API) 和 GSSAPI (Kerberos) 身份验证添加配置设置

需要一些帮助来设置 sasl.mechanism PLAIN (API) 和 GSSAPI (Kerberos) 身份验证的配置。

我们在这里使用confluent Kafka,有两个脚本,一个是python 脚本,第二个是调用python 的bash 脚本。您可以在下面找到脚本。

我在这里先向您的帮助表示感谢!

0 投票
0 回答
141 浏览

visual-studio-2019 - “致命错误 C1083:无法打开编译器生成的文件:'':无效参数”,同时尝试“pip install robotframework-confluentkafkalibrary”

我正在尝试使用命令安装robotframework-confluentkafkalibrary,pip install robotframework-confluentkafkalibrary在此期间出现以下错误:



我正在使用 Visual Studio 2019、confluent-6.2.0、librdkafka-1.7.0-confluent6.2.0、gitBash 来运行这个 pip install 命令。感谢我能得到的所有帮助。

0 投票
1 回答
32 浏览

docker - Jupiter Docker:在子 docker 映像中使用 pip install

我试图在 MacOS 上运行自定义版本的 Jupiter 笔记本图像,只是想安装一个 confluent-kafka 库以使用 kafka python 客户端。

我按照文档中提供的简单说明进行操作。这是 Dockerfile:

构建工作正常,但运行时这是我得到的错误:

试图在网上寻找,但没有发现任何有用的东西。有什么帮助吗?