问题标签 [kafka-cluster]

我做了

用于我本地的 kafka 集群。

每当我想创建主题时，检索我拥有的主题或搜索存储在我使用的主题中的数据

在官方的 kafka 集群部署站点上。

但是我真的想在我的本地存储中使用 Kafka，而不是像 kafka docker 镜像

如果我使用上面的代码，我会遇到这个错误。

此外，如果我检查netstat -anp tcp 则没有来自 kafka 集群的 LISTEN 端口。

我应该做些什么 ？请让我知道我现在对 docker 缺少什么（因为我对 docker 真的很陌生：（）

这是yaml配置

有Kafka cluster和Kafka broker一样的意思吗？

我知道集群有多个代理（这是错的吗？）。

但是当我编写代码来产生消息时，我觉得很尴尬option。

这是代理地址还是集群地址？如果这是broker地址，我认为不好，因为当broker计数发生变化时，我们必须修改上面的地址。
（但它似乎是经纪人地址..）

另外，我MSK在亚马逊看到，我们可以为每个AZ.
这意味着，我们不能有很多经纪人。（最多三四个？）

他们指导我们应该将此代理地址写入 bootstrap.server option as a，`单独的列表。

为什么他们不指导我们使用集群地址或ARN？

我的应用程序有一个在 spring.kafka.bootstrap-servers 属性中指定的 kafka 集群节点列表，并监听所有这些节点上的主题。

如果我要在其中一个节点上创建一个主题，假设有 5 个分区，这些分区会分布在这些多个节点上，还是会在单个节点上创建？另外，如何找出主题分区实际存在于哪个节点上？

我有如下要求：Kafka需要监听多个接口，一个外部接口和一个内部接口。系统中的所有其他组件都将 kafka 连接到内部接口。在安装时其他主机上的内部 ips 不可访问，需要进行一些配置以使其可访问，我们无法控制。因此，假设当 kafka 启动时，其他节点上的内部 IP 无法相互访问。

场景：我在集群中有两个节点：node1（外部IP：10.10.10.4，内部IP：5.5.5.4）node2（外部IP：10.10.10.5，内部IP：5.5.5.5）

现在，在安装时，10.10.10.4 可以 ping 到 10.10.10.5，反之亦然，但 5.5.5.4 无法连接到 5.5.5.5。一旦 kafka 安装完成，就会发生这种情况，之后有人会进行一些配置以使其可访问，因此在 kafka 安装之前，我们可以使它们可访问。

现在的要求是kafka brokers会在10.10.10接口上交换消息，这样就会形成集群，但是客户端会在5.5.5.X接口上发送消息。

我尝试如下：

其中 5.5.5.5 是内部 IP 地址。但是有了这个，在重新启动kafka时，我看到了下面的日志：

......

之后，此消息不断出现。

有什么方法可以实现吗？

关于，-M-

我在 Kafka 集群中作为消费者（最早/从开始）消费了 15 天的 Kafka 主题（保留 21 天），连续 15 天使用 x 消费者组，第 15 天生产者的团队停止生产，我停止了消费者侧面符合没有剩余消息可供消费。然后Kafka Cluster也被关闭了。然后在第 16 天，Kafka 集群开启，生产者在第 23 天启动了他的生产者，我也开始了我的消费者。但是当我开始时，我从一开始就收到消息，而不是从我遗漏的地方，尽管我正在使用同一个 x 消费者组。所以我的问题是为什么会这样？Kafka Broker 是否丢失了有关消费者组的信息？

我必须像这个拓扑一样构建一个日志集群和监控集群（为了高可用性）。我想知道如何配置那些 log-shippers 集群。（我在图像中有 2 个 Topo）

1. 如果我在 Kafka 集群中使用带有 FileBeat 的 Kafka，Elastic Search 会因为 Kafka 在数据中有副本而收到重复数据吗？

2. 如果我使用 Logstash（在 Elastic Search Cluster 中）从 Kafka Cluster 获取日志，配置应该如何，因为我认为 Logstash 将不知道在哪里读取 Kafka Cluster 上的日志效率。

集群拓扑

谢谢阅读。有什么想法可以私聊我^^！

我使用 bitnami kafka 和 zookeeper 设置了一个 kafka 集群，我想查看这个集群或至少一个使用 kafdrop 的代理。我使用 docker compose 来构建所有组件。我最初遵循本教程，然后在 docker-compose.yml 中添加了 kafdrop 配置

我的主要问题是 kafdrop 总是抛出这个错误：

我尝试KAFKA_BROKERCONNECT用 ff 值更改 的值，但都没有奏效。

• 纯文本：//本地主机：9092，纯文本：//本地主机：9093，纯文本：//本地主机：9094
• 本地主机：9092，本地主机：9093，本地主机：9094
• PLAINTEXT://kafka-server1:9092,PLAINTEXT://kafka-server2:9093,PLAINTEXT://kafka-server3:9094
• 卡夫卡服务器1：9092，卡夫卡服务器2：9093，卡夫卡服务器3：9094

我实际上只是在猜测正确的配置语法，所以对此的任何解释表示赞赏:)。

另外，是否networks需要在 kafdrop 配置上添加属性？Kafdrop 有示例 docker -compose文件，而这个没有网络配置，所以我想知道为什么/如果network需要。

我正在尝试为具有 3 个节点的 Kafka Connect 集群设置我的第三个工作人员。工作人员在这第三个节点上正常运行，我能够进行 REST 调用以获取现有连接器（现在我有 2 个，每个节点上一个）。但是，当我尝试使用以下命令进行 POST 调用以创建第三个连接器时：

我得到这个 TimeoutException 响应：

当我查看工作人员堆栈跟踪时，它会显示以下内容：

跟踪的第一个日志是困扰我的，因为我没有看到任何有关我做错了什么的相关信息，而第二个日志只是 TimeoutException。我到处寻找有类似问题的人，或者了解“AbstractConfig”类但找不到任何有用的东西，这是来自 Kafka 的 AbstractConfig 类（我使用的是 Kafka 版本 2.0.0）。

最后，这是我正在使用的配置文件：

如果您觉得我应该包含任何其他信息，请随时询问，我对堆栈溢出相当陌生。

我很想知道是否有人遇到过这样的事情，或者是否有人知道是什么导致了这里的问题。谢谢！

我在另一台机器上有一个 3 节点 Kafka 集群，我无法在其中远程连接和使用 Spring Boot 应用程序的消息。我已经像这样更改了我的配置文件：

这是我的application.yml：

当我运行应用程序时，我收到了这个错误：

我在一个 kafka 集群中创建了两个 kafka 代理。当一个经纪人倒闭时，我无法向 kafka 消费者获取任何数据。我正在使用此命令来读取来自消费者的消息：