问题标签 [strimzi]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
255 浏览

kubernetes - 虚拟机上的 Strimzi Kafka 外部侦听器入口错误

我正在尝试使用 kubeadm、kubelet、containerd、Calico、MetalLb 在 VM 上运行的 Kubernetes 集群上部署带有 Strimzi 的 Kafka(VMWare Workstation 15 和 Ubuntu 20.04 在其上运行)。

我可以使用我指定的范围内的 IP 创建负载均衡器类型的入口 nginx 控制器服务,但是当我创建 Kafka 集群及其入口类型的外部侦听器并尝试关联 DNS 时,它会崩溃并出现错误:

等待命名空间中的入口资源 my-cluster-kafka-bootstrap 时超时超过 300000 毫秒,默认为可寻址

这是整个堆栈跟踪(来自 Strimzi 集群操作员日志)

这是我的 Kafka 集群清单

这是我的入口控制器服务

您能帮帮我吗,您是如何在 Prem 上使用 Strimzi 部署 Kafka 的?

0 投票
0 回答
134 浏览

apache-kafka - Strimzi kafka内存不断增加

我在 GKE 中设置了 Strimzi kafka,并配置了用于监控内存/cpu 的仪表板。注意到内存图中从 Grafana 不断增加的行为。使用 container_memory_usage_bytes 和 container_memory_working_set_bytes 指标。,

在此处输入图像描述

我怀疑这会在某个时候产生内存压力,最终会进入 OOM 情况。

有人可以为此提出解决方案吗?

0 投票
0 回答
175 浏览

kubernetes - srimzi/kafka docker-compose 日志配置

为这个广泛使用的 docker 映像配置日志记录的环境变量是哪些?
如何在以下docker-compose.yaml中配置 zookeeper 根记录器级别?

参考:
srimzi 文档
srimzi 操作员配置日志记录

0 投票
1 回答
326 浏览

mysql - 无法连接:通信链路故障

我正在尝试使用新的 KafkaConnector 资源遵循教程 Deploying Debezium。根据教程,我也在使用 minikube,但使用了 docker 驱动程序。基本上只是一步一步地完全按照。

但是,对于“创建连接器”步骤,在创建连接器之后

并检查

我有错误

我试图改变

根据“保护数据库凭据”步骤中的用户和密码信息,直接重新申请。

另外,根据教程中的描述

我将database.hostname: 192.168.99.1其用作连接 MySQL 的 IP 地址,因为我将 minikube 与 virtualbox VM 驱动程序一起使用如果您使用不同的 VM 驱动程序,则minikube可能需要不同的 IP 地址。

我实际上对上面的描述有点困惑。演示中的 MySQL 部署在 Docker 中,而 Kafka 等其余部分部署在 minikube 中。为什么描述中database.hostname说 minikube 而不是 Docker?

无论如何,当我跑步时minikube ip,我得到了192.168.49.2。但是,在我更改database.hostname192.168.49.2, 并运行后kubectl get kctr inventory-connector -o yaml -n kafka,我得到了

我可以访问 MySQL,localhost因为它托管在 Docker 中。但是,当我更改database.hostnamelocalhost.

任何的想法?谢谢!

0 投票
1 回答
139 浏览

azure - Strimzi 无法调整 PV 的大小

我跟着 Strimzi博客调整 PV 的大小。

我使用部署在 Azure VM 上的 Openshift v3.11,并将 PV 作为 Azure 托管磁盘

我的 Kafka 集群存储配置

我直接编辑pvc,把资源请求改成257Gi。我等了几分钟,检查 PVC 的状态,比如吹

在 pvc 的描述中,我在下面看到

我也尝试过,jbod用单个磁盘重新部署 kafka,调整大小并进行滚动更新。与上面相同的结果

  • openshift v3.11.0+cbab8ee-94(K8s v1.11.0+d4cacc0)
  • 卡夫卡版本:2.6.0
  • 运营商:0.20.1

请注意,我的集群中确实支持调整 PV 大小(以前我通过将副本缩小到零成功地调整了应用程序的 PV 大小)

更新

我尝试使用 将 reaplica 缩小到 0 oc scale replicas=0 sts/XX-dev,但cluster-operator由于复制因素而不允许。

0 投票
1 回答
57 浏览

apache-kafka - Strimzi Kafka 在 GKE 升级期间“没有匹配侦听器的代理”

我在 GKE 上使用 srimzi 运算符 0.15 版部署了 Kafka,并且工作正常。配置是这样的:

当我对 kubernetes 集群进行升级时,显然​​每个 Kafka Pod 也已重新启动,并且在升级过程中,我在尝试与 Kafka 通信的客户端的日志中看到了以下许多消息:

xxx 分区有没有匹配侦听器的领导代理,包括....

无法建立与节点 1 (kafka-1.redacted.svc.cluster.local/redacted:9092) 的连接。经纪人可能不可用。

所以,我想知道这是正常行为还是不应该发生。GKE 升级后一切正常,没有任何问题。

在升级过程中,kafka-exporter(与 strimzi 操作员一起部署)也在记录:

在领导选举过程中,该分区当前没有领导,因此无法写入

谢谢你的帮助

0 投票
1 回答
438 浏览

kubernetes - 使用 Strimzi 对 Kafka 的外部访问

我正在尝试按照本指南使用 Strimzi 提供对 Kafka 的双向外部访问:Red Hat Developer - Kafka in Kubernetes

我的 YAML 取自GitHub 上的 Strimizi 示例,如下所示:

运行时,kubectl get services我会看到以下内容:

注意my-cluster-kafka-0andmy-cluster-kafka-external-bootstrap有一个<pending> EXTERNAL-IP. 我的 YAML 文件中缺少什么来提供双向外部访问my-cluster-kafka-0

0 投票
1 回答
300 浏览

kubernetes - GCP:在 GKE 上安装 Kafka - zookeeper 未启动

我在 GCP 上创建了一个 Kubernetes 集群(GKE),并尝试在此安装 Kafka(参考链接 - https://snourian.com/kafka-kubernetes-strimzi-part-1-creating-deploying-strimzi-kafka / )

我部署 kafka 集群时 Zookeeper 没有启动:

这是用于创建集群的 yaml 文件:

PersistentVolume 显示为绑定到 PersistentVolumeClaim,但是 zookeeper 没有启动说节点 CPU 不足。

关于需要做什么的任何指针?

kc 描述 pod my-cluster-zookeeper-0 -n kafka

0 投票
1 回答
176 浏览

google-cloud-platform - srimzi - 无法从外部 m/c 访问 Kafka 代理

我已经在 GKE(GCP) 上设置了 kafka (strimzi),链接如下:

https://snourian.com/kafka-kubernetes-strimzi-part-1-creating-deploying-strimzi-kafka/

在 GKE 中使用 Kafka 生产者/消费者的访问工作正常,但是当我尝试从外部客户端使用 Kafka 生产者/消费者时 - 它失败了。

这是创建单节点 Kafka 集群的 yaml,它定义了一个外部节点端口 - 端口 9094

自定义Kafka资源的输出,获取引导服务器和端口;

关于需要做什么来解决这个问题或调试这个的任何想法?蒂亚!

另一件事-我能够从本地 m/c ping IP 和端口

更新:做一个 telnet 似乎没有成功,虽然 ping 发生了是否需要打开端口?

更新:我必须创建一个防火墙来提供对端口的访问,现在我可以远程登录

但是,现在另一个错误..主题无法访问,我需要打开其他端口吗?

0 投票
1 回答
71 浏览

kubernetes - 如何将自定义 jar 文件添加/复制到 KafkaMirrorMaker?

我正在开发一些自定义主题名称映射,并从中生成了一个 jar 文件。

由于我使用的是 MirrorMaker v1,因此这些变量也已添加KAFKA_MIRRORMAKER_MESSAGE_HANDLERKAFKA_MIRRORMAKER_MESSAGE_HANDLER_ARGSKafkaMirrorMaker yaml 文件中。

但我不知道如何将此自定义 jar 文件物理添加到 KafkaMirrorMaker pod 中。我已经检查了 KafkaMirrorMaker 的 CRD,但还没有找到任何线索。

那么,有没有办法让 KafkaMirrorMaker 下载一些文件/工件并将 jar 文件包含到类路径中,以便自定义 MessageHandler 可以找到它?

helm install 命令用于部署 Mirror Maker。我目前使用的 KafkaMirrorMaker 的 apiVersion:kafka.strimzi.io/v1beta2