问题标签 [aiokafka]

问问题

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

2 问题
Newest
Active
Bountied
318
Unanswered
0 投票
1 回答
218 浏览

python - 使用 AIOKafkaConsumer 执行偏移查找时使用哪个分区？

当试图让一个AIOKafkaConsumer从特定偏移量开始读取消息时starting_offset，我们如何知道要使用哪个分区？

我正在尝试使用该AIOKafkaConsumer.seek方法，但它需要指定一个TopicPartition。

0 投票
0 回答
40 浏览

python - aiokafka 生产者在 python:buster Docker 容器的一个核心上运行，吞吐量非常低，每秒 1 MiB

我有一些简单的代码来测试aiokafka库的性能。我正在使用一台 Windows 计算机，运行 Docker for Windows，以及一个 8 核的虚拟机。

在这种情况下，库aiokafka似乎实现了非常低的生产者吞吐量，大约每秒 1 MiB：

这需要 60 多秒才能在我的计算机上运行，​​IE 需要 60 多秒才能发送 100 条 1 MiB 消息。我知道这对卡夫卡来说是一个重要的信息，但这很荒谬，我很确定这不应该是表演。当我使用我的个人资料时，cProfile我看到了这个

所以它把所有的时间都花在了crc32c.py。当我查看这段代码时，我得出结论，没有办法避免在生产者端调用这段代码。（很明显，如果你现在还不能说我不是 Kafka 专家，也不知道为什么需要这个检查）。

但似乎它这么慢的原因是它使用的是python版本crc32c而不是本机版本。这就是我所希望的，至少……

所以问题是：

  1. 这是否表明这crc32c是问题所在？
  2. 如何确保我使用的是本机crc32c？
  3. 有没有人在使用aiokafkaonpython:buster-3.9.x之前看到过这个？

12345678910