问题标签 [kafka-topic]

我可以得到一个使用segmentio的kafka-go创建主题的例子吗？

我尝试创建如下主题：

但这只有在给定的host:port是 Kafka Leader 时才有效。如果host:port不是 Kafka Leader，那么我将收到此错误：

不是控制器：这不是该集群的正确控制器*

传递集群地址以创建主题的正确方法是什么？

Kafka Segmentio：github.com/segmentio/kafka-go

我需要设置两个参数min.insync.replicas和acks. 官方文档说参数min.insync.replicas是broker的参数。我是否正确理解应该在 server.properties 文件中指定所有主题？其中之一 - 使用命令 kafka.config.sh。Acks参数只能在配置生产者时设置，例如从应用程序？对文件 producer.properties 的更改不会有帮助吗？

尝试使用--bootstrap-server创建主题时，出现异常“执行 Kafka 主题命令时出错：等待节点超时”：-

但是以下工作正常，使用--zookeeper：-

我使用的是 Kafka 2.5 版，根据 >2.2 版以来的知识，所有偏移量和元数据都存储在代理本身上。因此，在创建主题时，无需连接到 zookeeper。

请帮助理解这种行为

注意 - 我已经在一台机器上设置了一个 Zookeeper quorum 和 Kafka 代理集群，每个集群都包含 3 个实例（用于开发目的）

卡夫卡从其他国家获得订单。

我需要按国家/地区对这些订单进行分组。我应该创建更多带有国家名称的主题还是要创建一个具有不同分区的主题？

另一种是拥有一个主题并使用 strean Kafka 过滤订单并发送到特定国家主题？

如果国家数量超过 180 个更好？

我想在特定国家/城市的执行者之间分配订单。

评论：

所以，订单有关于国家/城市的数据。然后卡夫卡必须在这个国家/城市找到执行者，并向他们发送相同的命令。

我是 kafka 的新手，我想尝试创建主题并从我的 .net 应用程序向 kafka 发送消息。我正在使用 kafka.net dll 并使用以下代码成功创建主题：

但我看不到任何消息：

谁能帮我举个例子？谢谢。

我有一个流程，从 IBM 大型机 IIDR，我将记录发送到 Kafka 主题。进入 Kafka 主题的value_format消息是 AVRO，密钥也是 AVRO 格式。记录被推送到 Kafka 主题中。我有一个与该主题相关的流。但是记录不会传递到流中。主题示例test_iidr-

流中的 value_format 是 AVRO 并且列名都被检查。

流创建查询 -

KEY由于声明中未提及，它是否无法从主题加载到流中WITH？模式注册表在其中注册了test_iidr-value和test_iidr-key主题。

泊坞窗中的key.converterand设置为 - 。这是在制造这个问题吗？value.converterKafka-connectorg.apache.kafka.connect.json.JsonConverterJsonConverter

我用不同的流创建了一个完全不同的管道，并使用insert into语句手动插入了相同的数据。有效。只有 IIDR 流不起作用，并且记录不会从主题推送到流中。

我正在使用 Confluent kafka 5.5.0 版。

我是 Kafka 的新手，想按分区获取 Kafka 主题的位置。我在文档中看到 - https://kafka-python.readthedocs.io/en/master/apidoc/KafkaAdminClient.html#kafkaadminclient - 可以通过函数获得偏移量，KafkaAdminClient.list_consumer_group_offsets但我没有看到这样的方法在那里的位置。

有人知道我怎么能得到它吗？

我想像这张图片一样将主题分区分成多个 kafka 服务器。

示例：我只有一个主题“Test”，我有两个 kafka 服务器（k1，k2），我有 4 个主题“Test”分区。我希望服务器 k1 有分区 0 和 1，服务器 k2 有分区 2、3。

让我们假设有 Kafka 主题订单。数据以 JSON 格式存储：

Status定义订单状态（待定 - 1，已完成 - 2）。

完成后如何更改完成？

据我所知，Kafka 主题是不可变的，我无法更改消息 JSON，只需创建一个具有更改值的新消息，对吗？

通过说集群信息，我指的是像这样的信息

1. 订阅的消费者/消费者组
2. 读取和提交的偏移量
3. 分区的领导者和追随者
4. 服务器上的主题等。

Zookeeper 是否将此信息保存在自己的数据库中（尽管到目前为止我从未听说过 zookeeper 拥有自己的任何数据库），或者它将这些信息存储在某些主题等的 Kafka 集群中？

编辑：和后续问： Zookeeper 如何从 __consumer_offsets 主题中检索消费者偏移量？