问题标签 [kafka-topic]

我在本地机器上设置了 Kafka，并启动了 zookeeper 和单个代理服务器。

现在我有一个带有以下描述的主题：

我有一个生产者在消费者启动之前产生了一些消息，如下所示：

当我使用 --from-beginning 选项启动消费者时，它不会显示生产者产生的所有消息：

但是，它显示了新添加的消息。

我在这里做错了什么？有什么帮助吗？

我正在尝试通过 Java 在 Apache Kafka 主题上设置acl 。我遇到了setAcl()Kafka 管理客户端中存在的方法。但不确定如何使用它。我有一个设置了 3 个代理的 Kafka 集群，并在其上应用了acl（服务器端）。

我需要在客户端用 java 实现它（我有所需的客户端证书）。请注意，我需要有关 java 代码的帮助（而不是使用 shell 脚本）

所以确实Broker 1 Topic 1 Partition 1包含与Broker 3 Topic 1 Partition 1

但Broker 3 Topic 1 Partition 1包含不同的Broker 3 Topic 1 Partition 2

?

我已经按照https://kafka.apache.org/24/documentation/streams/developer-guide/testing.html为 kafka 流应用程序编写了一个测试类 ，其代码是

我使用EventSerde类来序列化和反序列化值。

当我运行此代码时，它会java.util.NoSuchElementException: Uninitialized topic: processed_events通过以下堆栈跟踪给出错误：

如您所见，我已经初始化了输入和输出主题。我还调试了代码，当我从输出主题读取值时发生错误

我不明白我还应该做什么来初始化 outputTopic。谁能帮我解决这个问题？

我正在使用 apache kafka-streams-test-utils 2.4.0 和 kafka-streams 2.4.0

我知道kafka console producer命令，它非常方便。我想知道当我们也有密钥时，是否有办法确定哪个密钥将进入哪个分区？假设我们在 kafka 主题中有 10 个分区，生产者将如何决定 key 将去哪个分区？

我认为它可能会使用key.toString.hashCode() % (num_of_partitons)，但我认为这不是 kafka 控制台制作人采用的方式。

我们可以检查将数据发送到哪个分区生产者吗？

我想使用键/值模式写入 Kafka，以便在读取数据时保持相同的数据写入顺序。我的问题是主题中的分区数量是否应该等于传入数据中不同键的数量。我已经知道，具有相同键的键/值模式数据将进入同一个分区。

因此，如果分区数不等于数据中不同键的数量，我们可以在同一个分区中拥有具有不同键的数据吗？在这种情况下如何保持数据顺序？

除了使用 Confluent Schema Registry 之外，有没有办法（通过内置的 CLI 工具）查看主题键和值的序列化格式？

我想查看主题级别的属性，例如

是否可以查看在主题级别设置的所有属性？是否有任何命令可以查看我的主题级别属性，如上所述我谷歌很多并找到了一个 cmd 但它对我不起作用

cmd如下

我已经使用以下命令直接从 Zookeeper 中删除了主题，并且之前没有从 Kafka 中执行删除：

现在我看到的是，该主题出现在log.dirs集群中至少一个代理中。有没有办法也可以删除。

当我现在尝试从 kafka 中删除时，它会引发以下错误

我正在尝试通过 jmeter 监控 Kafka 主题。我通过一个外部工具向 kafka 主题发送了 100 条消息，并且消息完美传递，因为我在消费者窗口中进行了检查。现在我想使用 jmeter 监控 kafka 主题。我研究过使用 kafkameter 并查看了一些关于使用 kafkameter 进行负载测试的教程。但是在我在网上找到的所有资源中，都显示了如何向 Kafka 主题发送消息，然后对其进行监控，这是我不想做的。我想在从外部工具向该主题发送消息时监视该主题。谁能帮我这个？