问题标签 [kafka-topic]

kafka领导者是自己分区还是经纪人？我最初的理解是它们是充当读/写代理的分区，然后将它们的价值传递给 ISR。

但是最近我听到他们提到它们，好像它们发生在“经纪人”级别，因此我感到困惑。

我知道还有其他帖子旨在回答这个问题，但那里的答案没有帮助。

我是 Apache Kafka 的新手，我正在尝试了解如何监控 kafka 代理、消费者和生产者以及主题。我正在寻找指标以及如何公开 Rest api 以获取所有这些指标，因为我必须在 UI 上显示它们。JMX 如何帮助实现这一点（或者它没有？）

我正在使用 spark 结构化流来使用来自 kafka 主题的数据并将数据写入另一个 kafka 接收器。

我想存储偏移量两次 - 从主题中读取一次并搅拌偏移量。其次，当将数据写入输出接收器并写入偏移量时，这可以通过提供检查点目录位置来实现，

是否可以写订阅主题时消耗的偏移量。

我有一个似乎同时存在和不存在的 Kafka 主题。

返回错误：

同时，试图重新创建主题

返回

它没有显示在主题列表中

我怀疑存在某种形式的腐败，但尚不清楚如何完全删除该主题以便重新创建它

日志压缩主题不应该针对同一个键保留重复项。但在我们的例子中，当发送具有相同键的新值时，不会删除前一个值。可能是什么问题？

我得到的 实际结果

我只想要针对相同键预期结果的最新记录

虽然可以回答与上述类似的问题。我的好奇心在于假设 n1-5 个节点在集群中，其中主题 t1 在 n1、n2 和 n3 上，主题 t2 在 n3、n4、n5 上。现在，如果假设 p1 在 t1 中推送消息，而 c1 从 t1 中消费，同样地，p2 和 c2 用于 t2。

这是我有某些疑问的地方？

1. 假设节点 n3-n5 全部关闭，现在 p1 和 c1 仍将与集群建立活动连接，这有点无用，因为无论如何发布和消费都会失败。（metric connection_count 大于 0 意味着有来自生产者或消费者的集群连接）

2. 将主题复制到Kafka集群中的所有节点是否正确？

3. 为什么我们在引导服务器属性中给出多个节点地址详细信息一个地址是否足够？

注意：我是 Kafka 世界的初学者，仍在尝试本地设置以发现现实世界中可能发生的潜在问题。

我在 Kubernetes 上运行 3-zookeeper-cluster 和 3-kafka-cluster。
卡夫卡似乎正在运行。
但是，如果我向某个主题生成一些消息并检查该主题，则根本没有消息。

这是我的经纪人说的。那就是说一些无效的接收或其他东西，有趣的是试图使主题运作良好但产生。
我也可以观看我早期在 Topics-ui 上制作的主题或模式，Topics-ui 是代理的 GUI 工具。
Schema-registry、Connect、Rest 的日志很好，因此代理似乎运行良好。

这是我使用terraform Statefulset的代理配置

服务

尝试生成的代码

我是 Apache-Kafka 的新手。我正在使用：zookeeper-3.6.0 kafka-2.13-2.4.1 Windows-7

创建错误： 主题创建错误 列表错误： 列表主题错误

错误看起来很简单。我用谷歌搜索了很多，但不幸的是，我无法解决这个问题。

我按照以下链接进行配置： http: //programming-tips.in/kafka-set-up-apache-kafka-on-windows/

期待一些专家的建议。

我正在尝试了解如何使用 Kafka 跟踪消息摄取。

我们现在遵循的工作流程是清除主题中的所有消息，然后我们通过代码更改重新摄取。我需要知道这些代码更改有多成功。在当前状态下，我正在使用 Kafka 工具并手动刷新消息总数，并将结果保存在 csv 中，我知道这是不可持续的长期。

您对自动获取 Kafka 主题中的消息计数有何建议？理想情况下，我想以一分钟一分钟的频率点击该主题并获得计数，以及像 1 天这样的时间窗口等。

*由于我们遇到的稳定性问题，我无法使用 KSQL。

我在网上阅读了一些指南，如果您使用密钥排序，新分区最终会破坏该排序，我真的不知道如何。这真的会发生吗？