10

我已经开始学习卡夫卡了。尝试对其进行基本操作。我坚持关于“经纪人”的观点。

我的 kafka 正在运行，但是当我想创建一个分区时。

 from kafka import TopicPartition
(ERROR THERE) consumer = KafkaConsumer(bootstrap_servers='localhost:1234')
 consumer.assign([TopicPartition('foobar', 2)])
 msg = next(consumer)

回溯（最近一次调用）：文件“”，第 1 行，在文件“/usr/local/lib/python2.7/dist-packages/kafka/consumer/group.py”中，第 284 行，在init self._client = KafkaClient(metrics=self._metrics, **self.config) 文件“/usr/local/lib/python2.7/dist-packages/kafka/client_async.py”，第 202 行，在init self.config['api_version '] = self.check_version(timeout=check_timeout) 文件“/usr/local/lib/python2.7/dist-packages/kafka/client_async.py”，第 791 行，在 check_version 中引发 Errors.NoBrokersAvailable() kafka.errors。没有经纪人可用：没有经纪人可用

4

6 回答 6

27

在 kafka 流式传输期间我遇到了同样的错误。下面的代码解决了我的错误：我们需要在 KafkaProducer 中定义 API 版本。

KafkaProducer(bootstrap_servers=['localhost:9092'],
              api_version=(0,11,5),
              value_serializer=lambda x: dumps(x).encode('utf-8'))
于 2019-06-04T18:34:32.760 回答
7

您不能在消费者中创建分区。创建主题时会创建分区。例如，使用命令行工具：

bin/kafka-topics.sh \
  --zookeeper localhost:2181 \
  --create --topic myNewTopic \
  --partitions 10 \
  --replication-factor 3

这将创建一个具有 10 个分区（编号从 0 到 9）和复制因子 3 的新主题“myNewTopic”。（参见http://docs.confluent.io/3.0.0/kafka/post-deployment.html#admin-operations和https://kafka.apache.org/documentation.html#quickstart_createtopic）

在您的消费者中，如果您调用assign()，则表示您要使用相应的分区，并且该分区必须已经存在。

于 2016-08-10T08:01:03.417 回答
5

对我来说，问题是我在Google Cloud上运行 Kafka 时的防火墙规则。

昨天它对我有用，今天我挠头 1 小时思考为什么它不再起作用了。

由于每次连接到不同的 LAN 或 WiFi 时本地系统的公共 IP 地址都会发生变化，因此我必须在防火墙规则中允许本地系统的公共 IP 地址。我建议使用具有固定公共 IP 的连接，或者在您切换/更改连接时检查这一点。

配置中的这些小更改需要太多时间来调试和修复它们。感觉为此浪费了一个小时。

于 2019-10-22T08:45:59.270 回答
3

不知道这个答案是否仍然相关，但最近在无法从主机 Windows 操作系统访问的 VBox VM 代理中解决了同样的问题。由于您在 KafkaConsumer 中提到了 bootsrap_servers，我假设您至少使用的是 kafka 0.10.0.0

请advertised.listeners在 server.properties 文件中查找属性并将其设置为PLAINTEXT://localhost:9092或PLAINTEXT://<broker_ip>:9092

但在您设置之前，请确保您的代理可以从您的消费者运行的环境中访问（通过ping <broker_ip>do 和 netcat nc -vz <broker_ip> 9092）。

此外，您需要重新启动 kafka-server 和消费者/生产者（无论正在运行）并尝试发送/接收。

例如，如果您正在运行 VM，您可能希望使用 Host-only 适配器来使代理可以从主机访问

注意：此配置适用于 Kafka Server >= 0.10.XX，但不适用于 0.8.2.X。尚未检查 0.9.0.X

于 2017-09-27T06:43:52.400 回答
3

看起来您想开始使用消息而不是创建分区。不过——你能在 1234 端口到达卡夫卡吗？9092 是 kafka 的默认端口，也许你可以试试这个。如果您找到了正确的端口，但您的应用程序仍然产生错误，您可以尝试使用控制台使用者来测试您的设置：

bin/kafka-console-producer.sh --broker-list localhost:<yourportnumber> --topic foobar

控制台消费者是标准 kafka 发行版的一部分。也许这会让你更接近问题的根源。

于 2016-08-09T20:01:04.370 回答
0

NoBrokersAvailable 可以是 kafka 配置中主机名配置错误的答案。

于 2020-10-26T22:23:53.253 回答