问题标签 [strimzi]

我想远程调试我的自定义连接器，它是我在 Kubernetes 上部署的 Strimzi Kafka 操作员部署的一部分。

在本地（例如使用 docker 映像），这可以通过添加JAVA_TOOL_OPTIONS具有此值的环境参数来完成：-agentlib:jdwp=transport=dt_socket,address=*:5005,server=y,suspend=n并在 docker run 命令中公开 5005 端口。

但是，在 k8s 中，我还应该将端口 5005 添加到部署中，以便我可以使用 nodeport（或其他东西）以便在集群外部公开部署的调试端口（5005）（以便我的 IDE 可以附加到它）。

但是，我无法更改创建的 Kafka 连接部署的公开端口（毕竟，您只能应用 KafkaConnect 自定义资源，并且部署是作为其中的一部分创建的）。

是否有远程调试此连接器的解决方法？还是 Strimzi 有一些配置值？

I am using Kafka exporter Grafana dashboard to monitor the message input per second and the message out per second for a certain topic. I am aware that internally Grafana uses Prometheus queries to get the message input and output per second through the below queries:

Can you please provide more details on the above two formulas especially on Prometheus functions sum/rate/delta e.g., do the formulas return the moving average in/out over a period of 1 minute? why the function rate is used in the first query, while delta is used in the second?

Thank you.

我使用 Strimzi 操作符在 Kubernetes 上部署了一个带有消费者和生产者客户端的 kafka 集群。我使用了以下 srimzi 部署文件， https://github.com/strimzi/strimzi-kafka-operator/blob/main/examples/metrics/kafka-metrics.yaml

我正在使用 Kafka 导出器来监控与消费者相关的指标（每个主题每秒输入/输出的消息、消费者组的滞后、偏移量等）。但是，我有兴趣将 Prometheus 配置为抓取 kafka_exporter 指标“ kafka_consumergroup_members”，以便稍后在 Grafana 上显示。我应该在 strimzi Prometheus 配置文件（https://github.com/strimzi/strimzi-kafka-operator/blob/main/examples/metrics/prometheus-install/prometheus-rules.yaml）或任何其他配置文件中添加什么额外配置部署文件（例如，https://github.com/strimzi/strimzi-kafka-operator/blob/main/examples/metrics/kafka-metrics.yaml），以便从 kafka_exporter 指标中抓取“kafka_consumergroup_members”。

我正在尝试使用 Kafka Connect REST API 来管理连接器，为简单起见，请考虑以下pause实现：

由于我将KafkaConnector其用作资源，因此我无法使用 Kafka Connect REST API，因为连接器操作员将 KafkaConnetor 资源作为其单一事实来源，手动更改（例如pause直接使用 Kafka Connect REST API 进行）由集群操作员还原。

所以要暂停连接器，我需要以某种方式编辑资源。

我正在努力改变当前函数的逻辑，如果有一些关于如何处理 KafkaConnetor 资源的实际示例，那就太好了。

我查看了Using Strimzi文档，但找不到任何实际示例

谢谢！

在@Jakub 的帮助下，我设法创建了我的新客户：

我正在尝试设置一些没有消息过期的持久数据 kafka 主题，以便我可以进行回填并运行 ksqldb。我知道retention.ms设置为 -1 是最重要的参数，但任何人都可以建议任何其他会影响性能的设置，特别是与无限期持久化数据相关。目前使用 srimzi 设置主题：

我正在运行 Strimzi 的 0.24.0 版本。

我已经设置了 SSL 身份验证和 ACL。我可以添加/删除 ACL，它按预期工作。目前它允许任何人创建、更新和删除 ACL。此外，它允许任何人在集群上创建主题。

我们希望将主题创建和 ACL 创建/更新限制为用户子集。

如何在 Strimzi 集群上实现它？

我设置了以下值，但似乎没有效果。我确定我还缺少其他配置。

谢谢。乙脑

我们有通过 RabbitMQ 相互通信的微服务。

例如：- 我们有服务 ServiceA、ServiceB、ServiceC。

ServiceAServiceB使用路由密钥通过 RabbitMq发送 ADto 消息service.a.100

ServiceBServiceC通过带有路由密钥的 RabbitMq发送 BDto 消息service.b.200

ADto 消息：

BDto 消息：

我们需要将 ADto 和 BDto 消息发布到另一个ServiceD使用Kafka的服务。

要将 RabbitMq ADto 和 BDto 消息发布到 Kafka，我们计划使用Kafka 连接器，例如 Confluent 提供RabbitMQSourceConnector。

RabbitMQSourceConnector - 从 RabbitMQ 队列中提取消息并将消息写入 Kafka 主题。

我们需要在 Kafka 中获取路由键，因为我们在路由键中有标识符（例如 service.a.100，我们需要“a”和“100”）来识别消息，我们在消息中没有标识符但 Kafka 不支持路由键而不是它使用主题分区。

在 Kafka 集群的 Kafka 连接器中注册融合RabbitMQSourceConnector时，是否可以在连接器配置中映射路由键？

我有一个带有以下 yaml 的 Strimzi 集群设置。

豆荚很好，我KafkaUser用 SCRAM-512 创建了一个 CR，如下所示 -

我已经从密钥中正确提取了 SCRAM 密码，并ca.crt从 cluster-ca-cert 密钥中获取了文件。我正在尝试遵循此示例中的 Go Sarama 代码 - https://github.com/Shopify/sarama/blob/master/examples/sasl_scram_client/main.go

我还从 OpenShift Route 正确获取了引导服务器地址，但我似乎无法连接。

我已经尝试了上述命令的一些变体，添加-certificate或-key标志，但似乎没有一个工作。我的监听器设置错误吗？

编辑 - 忘记包含并提及它，但这是我从 Go Sarama 代码中得到的错误。

所以它看起来是一个证书问题，但我似乎已经按照正确的说明来获取证书。我的 Kafka 代理刚刚命名为 kafka，因此秘密命名为 kafka-cluster-ca-cert。该ca.crt文件是我提供给 Sarama 代码的路径。

如果重要，请描述秘密 -

任何人都可以帮助列出在 GKE 中从头开始使用 srimzi 操作符安装 Kafka 所需的步骤。

我们在我们的一个 VM 上安装了一个 confluent kafka。我们必须摆脱它，并从头开始在我们的 GKE 环境中安装 srimzi kafka。，所涉及的所有步骤。

浏览此文档：https ://strimzi.io/docs/operators/in-development/full/deploying.html

如果有任何其他步骤到步骤文件或程序会有所帮助。

我有两个集群，

一个带有我的应用程序微服务的集群和另一个安装了 strimzi kafka 的集群。两者都是私有 GKE 集群。

我的挑战正是如何从我的应用程序连接到这个 kafka。大约有 10 个运行的微服务必须连接到 kafka。

我现在有一种方法，将 Strimzi kafka 作为 Nodeport 服务并在应用程序代码中提供 Ip 和 nodeIp。

这种方法的问题在于，如果 GKE 节点自动更新，我将不得不重新配置代码。

还有一个更关键的条件是，Kafka 应该只能由我们的应用程序访问。它不应该在公共 Internet 上可用。