问题标签 [strimzi]

我有一个简单的 python Kafka 生产者，我正在尝试访问 GKE 上的 Strimzi Kafka 集群，但出现以下错误：

这是Kafka生产者代码：

要获取 pem 文件（从秘密 - PKCS 文件），这里是使用的命令

任何想法如何解决这个问题？

请注意 - 我可以在 SSL 上使用命令行 Kafka 生产者/消费者访问 Kafka 集群

我使用一个 ControlPlane 和一个工作节点在 VMWare 上的 Kubernetes 集群中运行 Kafka。从 ControlPlane 节点，我的客户端可以与 Kafka 通信，但从我的工作节点，这最终会出现此错误

这是我的 Kafka 集群清单（使用 Strimzi）

值得一提的是，完全相同的配置，当我在云中运行时，工作完美。

Telnet和nslookup（来自两个节点）抛出一个错误。CoreDNS 日志甚至没有提到这个错误。两个节点上的防火墙也被禁用。

你能帮帮我吗？谢谢！

更新：解决方案 Calico Pod（来自工作节点）抱怨那只鸟： Netlink: Network is down，即使它没有崩溃

这就是我所做的，它就像一个魅力！

该故障是由节点加载的不同ipvs模块引起的。我为新节点配置了ipip模块，但是老节点没有加载ipip模块，导致calico异常。删除ipip模块恢复正常。

我正在使用Strimzi、Kafka和Kafka Connect自定义连接器插件，遵循此文档。

部署工作正常，Kafka Connect正在工作，我可以使用它的RESTFUL API.

但是没有创建连接器。这是错误消息：

找不到任何实现 Connector 且名称与 org.company.MySourceConnector 匹配的类

我知道原因：它没有找到插件（一个 jar 文件）。但是如果我进入 kafka-connect pod，我可以在正确（我想）的地方看到 jar 文件：/opt/kafka/plugins/my-source-connector/my-source-connector.jar.

此外，我运行cat /tmp/strimzi-connect.properties并看到插件路径：plugin.path=/opt/kafka/plugins/. （该文件由 srimzi 在部署期间创建）

如何配置Strimzi或Kafka Connect查找我的插件？

我用尽了我所有的资源。如果有人能对此有所了解，我将不胜感激。

我正在使用自定义资源部署 KafkaConnect。我想挂载到 Kafka Connect 集群 PersistentVolumeClaim。这个想法是另一个负责文件传输的应用程序将在那里放置将由 kafka 连接器拾取的文件。

我检查了 KafkaConnect 资源配置文档，似乎我不能简单地将卷添加到 Pod。我的理解是，如果我修补 Pod，strimzi-operator 将识别修改，并在下一次协调时将其覆盖。

有人知道我如何仍然使用 KafkaConnect CR 并安装 pvc 卷吗？

我正在使用 Strimzi 在 K8s 上部署 KafkaCluster、KafkaConnect。

• Strimzi 算子集群镜像：quay.io/strimzi/operator:0.26.1
• 卡夫卡镜像：quay.io/strimzi/kafka:0.26.1-kafka-3.0.0。

我正在尝试设置连接到 Postgres DB 的 KafkaConnector。

这些是我的步骤：

1. 从此图像“quay.io/strimzi/kafka:0.26.1-kafka-3.0.0”构建一个新的 KafkaConnect。这个新图像有我从这个链接“https://debezium.io/documentation/reference/stable/connectors/postgresql.html#postgresql-deployment”下载的插件

2. 我在 K8s 上运行这个新镜像，然后执行到 KafkaConnect 容器中。它有正确的插件（'/opt/kafka/plugins/debezium/debezium-connector-postgres'）：

3. 我创建了引用类 'io.debezium.connector.postgresql.PostgresConnector' 的 KafkaConnector：

4. 问题是 KafkaConnect 无法加载我已经添加到新 KafkaConnect 映像中的插件。来自 KafkaConnect 的日志：日志

更新

5. 我试图在新的 KafkaConnect 映像（'/opt/kafka/plugins/debezium-connector-postgres'）中更改插件的位置：
6. 问题是一样的：log

谢谢你们。

我们有具有三个副本的 MongoDB 集群。我已将首选 TLS 和身份验证类型启用为 MongoDB-X509。

我们有三个代理 strimzi kafka 集群，并将集群与所有必需的插件（即 debezium 提供的 mongoDB）连接起来并运行。

下面提供了用于 kafka 连接部署的部分 connect.yaml 文件：-

部署工作正常，能够在 /opt/kafka/external-configuration/connector-config 目录中看到 ca.pem 和 mongo-server.pem 文件。

之后，我尝试使用下面给出的配置文件创建 mongoDB 连接器，但不确定传递证书的确切方式。因为没有可用于 mongoDb 连接器的示例配置文件。您能否通过提供一些示例配置来帮助解决这个问题。

我尝试了以下配置文件：-

但它抛出了语法错误。请通过提供示例 mongoDB connector.yaml 来帮助解决这个问题？

将 Kafka Connect BigQuery 连接器与适用于 Kubernetes 的 Strimzi Operator 一起使用时出现以下错误：

有什么想法可能导致这种情况吗？我在公司代理后面运行它，但我已将其添加为环境变量。

我还在 Kafka Connect 集群 pod 中运行了 curl oauth2.googleapis.com，返回一个 html 响应，其内容中包含错误 404（未找到）。

我的 Kubernetes 设置如下所示：

卡夫卡连接：

卡夫卡连接器：

服务帐号：

完整错误：

谢谢！

Hell All-我使用 Helm 安装了 Prometheus

Prometheus 和 AlertManager pod 没有出现它们似乎在循环中终止。

这是我在描述普罗米修斯吊舱时看到的

描述没有显示任何错误，所以不确定为什么没有创建 Pod。它正在等待分配 PVC 吗？

此外，来自操作员部署的日志 - 我没有看到任何特定错误

我该如何调试/修复这个？蒂亚！

更新：我在一个全新的集群中安装了图表（prometheus-community/kube-prometheus-stack），并且豆荚已经出现。在我当前的集群（我看到问题）中，我还使用不同命名空间中的 strimzi github 上的文件安装了 prometheus/grafana，（https://github.com/strimzi/strimzi-kafka-operator/tree/main /examples/metrics/prometheus-install）是否会导致任何问题？

我创建了一个 Ingress，我正在尝试使用 pathRouting 访问 Prometheus

入口yaml：

后端服务

当我做卷曲时，它给出了 - 503 Service Temporarily Unavailable

另外，请注意：在 prometheus.yaml 中，添加了以下内容：

关于如何调试/修复此问题的任何想法？蒂亚！

更新：我添加了 TLS 证书，这是 curl 命令的输出

请注意：我使用的是自签名证书，关于如何解决这个问题的任何想法？

几个月前，我们在较低的环境中升级到了更新版本的 EKS。生产环境尚未升级。自从进行升级以来，我们观察到一些 Kafka 生产者在较低环境中的性能下降。我们在生产环境中没有看到任何此类性能下降，并且在此期间我们已经向生产环境发布了多个新代码版本。因此，我们确信问题与我们的代码无关，而是与 Kafka 或 Istio 的配置问题有关。

我们有 32 个 Pod，每个 Pod 有 4 个 Kafka 生产者，每个都写入 Kafka 中的一个唯一分区。Kafka 共有 128 个分区。在生产中，我们让所有 128 个生产者以大致相同的速率向 Kafka 写入数据，直到他们几乎同时完成。在较低的环境中，我们看到一些生产者的写入速度与我们在生产中看到的相似，但其他生产者，包括来自同一 pod 的一些生产者，写入速度要低得多。

这是显示生产速率的图表，所有生产者每秒写入 10K 到 15K：

这是来自我们较低环境的图表，显示一些生产者每秒写入超过 10K，但许多生产者的写入速度也低至每秒 5K：

我已经比较了 prod 和我们正在运行这些测试的性能环境之间的 kafka 配置，我可以看到在定义侦听器的方式上有些细微差别，但是我对 kafka 或 kubernetes 的了解还不够，无法知道它是否可能是问题的原因。

任何帮助或想法将不胜感激。

这是我们生产环境中的 srimzi 运算符：

https://privnote.com/aVeLrwBF#nZatzZTjT

而且，这是我们性能环境中的 srimzi 运算符...

https://privnote.com/UH4ReWkb#JSvuD27nF

这是我们来自生产的kafka yml：

https://privnote.com/cB5w5w4R#moAC9BvZx

这是来自我们的性能环境：

https://privnote.com/bs67Ld7d#zsZ6JIuiY

最后，这是我们生产环境中的 kafka configmap：

https://privnote.com/JErf2a99#XWThgvENY

这是来自性能环境：

https://privnote.com/6beSBSOa#OCc7GBvjf