问题标签 [strimzi]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
699 浏览

kubernetes - Kubernetes 上的 Kafka 使用 Strimzi:监控/向 prometheus 公开所有 JMX 指标

我正在使用 Strimzi 运算符在 Kubernetes 上运行 kafka。对于监控,我使用的是 Prometheus,并按照 Strimzi 部署指南中所述的安装指南进行操作。

https://strimzi.io/docs/operators/master/deploying.html

对于 Kafka 集群部署,我使用了来自 strimzi 存储库的以下模板。https://github.com/strimzi/strimzi-kafka-operator/blob/master/examples/metrics/kafka-metrics.yaml 。要向 Prometheus 公开的指标在同一文件的配置映射中定义。

我的问题是,如果我想让Prometheus 从 Kafka 中抓取所有 JMX 指标;是否有任何现成的 JMX 配置文件可以传递给 configmap 而不是当前的。请注意,我对消费者群体指标(rebalance-latency-avg、rebalance-rate-per-hour 等)特别感兴趣。

通过 JMX/prometheus 监控 kafka 是否会对 Kafka 造成任何性能下降?

0 投票
1 回答
2081 浏览

apache-kafka - 主题授权异常

我创建了一个 KafkaUser 来从外部访问云上的 Kafka 主题,其定义如下,我可以使用 SSL 模式通过端口 9094 从外部访问该主题。

现在在云端,我打算使用9092端口访问这个主题,不需要任何身份验证和授权,可以吗?

当我运行消费者时,它会抱怨 TOPIC_AUTHORIZATION_FAILED。

我的问题是,我想在没有任何授权的情况下访问端口 9092 的主题,怎么做?

0 投票
0 回答
25 浏览

apache-kafka - 使用plain模式访问kafka

我在 OpenShift 云上有一个 Kafka 集群,云外的客户向 Kafka 集群发送消息,然后我们为 Kafka 集群和主题设置身份验证和授权,并创建一个用户。

现在来自外部客户可以通过 SSL 或 SASL 通过端口 9094 向 kafka 主题发布消息,现在 OpenShift 内部的应用程序希望通过端口 9092 以纯模式消费消息,这意味着 OpenShift 内部的应用程序不想使用任何身份验证或授权来访问该主题,您认为是否可能?

这是我的 Kafka 集群监听器

0 投票
1 回答
85 浏览

kubernetes - 我的入口资源获得了多个 Ip,但不知道为什么或如何解决它?

大家好,我有一个入口控制器正在运行,我为 kafka 部署了一个入口(通过 strimzi 部署),但是入口向我显示地址的多个 Ip,而不是一个,所以我想知道为什么以及我能做什么从我在教程中看到的修复它,当你有一个入口时,地址中给出的 Ip 与入口控制器服务中的相同(在我的情况下它应该是:172.24.20.195)所以这里是ingres 控制器组件:

这是卡夫卡部分:

您会看到我们有 3 个 ips (172.24.20.242,172.24.20.38,172.24.20.8) 而不是我认为应该是 172.24.20.195 的一个,请如果有人可以提供解释,链接到 srimzi yaml 用于在这里公开一个入口:https ://developers.redhat.com/blog/2019/06/12/accessing-apache-kafka-in-strimzi-part-5-ingress/ 谢谢你的帮助

0 投票
1 回答
295 浏览

apache-kafka - Kafka集群CA证书如何处理?

我已经安装了 Strimzi Kafka 并创建了启用 TLS 的集群,如下所示:

自动创建的 Kafka 集群 CA 证书如下所示:

问题是:一年过去了我该怎么办(因为证书自动创建了 1 年)。我对客户端(生产者/消费者)使用 TLS 身份验证——因此我将此证书添加到客户端的 SSL 信任库。一年过去了,我应该在客户端上需要什么?我猜想用新的集群 CA 证书更新信任库?

0 投票
1 回答
102 浏览

apache-kafka - 如何将具有自定义 SSL 证书的用户(生产者或消费者)添加到 Kafka 集群?

我安装了带有 TLS 侦听器的 Kafka 集群的 Strimzi Kafka(在 OpenShift 中,如果重要的话)。当我添加一个KafkaUser我请求 TLS 身份验证时:

然后我提取由 Strimzi 用户的密钥库创建的,并在我从客户端代码连接到 Kafka 引导服务器时提供它。

问题:添加时如何提供自定义 SSL 证书KafkaUser,或者有没有办法用自定义证书替换自动生成的 SSL 用户证书(例如延长有效期)?特别是,将用户证书添加到哪个密钥的信任库?或者这是一个不好的做法,我应该坚持自动生成?

0 投票
0 回答
432 浏览

amazon-web-services - 在 Strimzi Kafka 的 LoadBalancer 上使用 SCRAM-SHA-512 身份验证和 SSL

我正在尝试使用 kafka-python 访问部署在 AWS 上的 k8s 集群(kops 不是 EKS)中的 Strimzi Kafka 集群。

这是监听器设置:

  • 我正在使用负载均衡器类型的外部侦听器
  • TLS 加密已禁用
  • 身份验证是 SCRAM-SHA-512
  • 我想安全地访问集群,我无法向代理提供证书以进行安全连接。因此,我使用覆盖在 LoadBalancers 上而不是在 Kafka 端设置 SSL。

这是配置:

我可以通过以下方式访问集群:

  • 没有身份验证(没有 SCRAM-SHA-512 或任何其他方法)
  • 其余与上述配置相同(唯一区别是不认证)

客户端配置(我使用的是 kafka-python)

但我无法访问启用了 SCRAM-SHA-512 身份验证的集群。我在 python 客户端中收到以下错误:

并且随着客户端重试,此错误会重复。

这是我正在使用的生成此错误的 python 客户端配置。

这是由于 Kafka 服务器/客户端配置中的一些错误造成的吗?我已经成功在 k8s 集群中创建了一个 KafkaUser 资源。

还是因为 Kafka 需要在 kafka 服务器端(而不是在 LoadBalancer 端)使用 SSL 才能使 SASL SCRAM-SHA-512 工作?如果是这样,是否有任何解决方法?

0 投票
1 回答
346 浏览

apache-kafka - 是否可以访问在 OpenShift 上安装了 Route 侦听器类型的 Strimzi Kafka 中的 Zookeeper?

我在 OpenShift 上有 Strimzi Kafka 集群,配置如下所述:

https://strimzi.io/blog/2019/04/30/accessing-kafka-part-3/

基本上是这样的:

根据上面的文章,我只能通过 port 访问引导服务器443。基本上,这个设置有效并且可以满足我的需要。

我想知道我是否可以通过我的机器上的命令行对 Zookeper 进行外部访问以管理集群?如果是,我应该从存档下载 Kafka 二进制文件并使用 CLI 吗?或者我需要登录 Zookeeper Pod(例如通过 OpenShift UI)并从那里通过 CLI 管理 Kafka 集群?

提前致谢。

0 投票
1 回答
376 浏览

apache-kafka - Strimzi MirrorMaker2 主题重启/重置

我们使用 Strimzi MirrorMaker2 CRD 将数据从一个 Kafka 集群复制到另一个集群。复制现在是同步的,我注意到一个主题(有 3 个分区)的主题偏移不正确,源的消息比目标​​的多。

我想做的是在 MM2 中重新启动该单个主题,而不影响任何正在同步的主题。我在文档中看不到如何仅重新启动一个主题,这可能吗?

我们同步了大约 12 个主题,理想情况下,这些主题不会受到重启的影响。

谢谢!

0 投票
1 回答
317 浏览

curl - 在kafka桥srimzi上启用用户名和密码

我正在尝试将用户名和密码添加到我在 strimzi 上的 kafka 网桥..我不知道我是否配置正确,如果我配置正确,为什么我无法使用我的用户名和密码访问这是我的步骤做过:

秘密.yaml

桥接器.yaml

这是产生消息的卷曲:

当我这样尝试时,我得到了:

如果有人可以帮助并提前感谢