问题标签 [strimzi]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
640 浏览

apache-kafka - 如何部署 Strimzi KafkaMirrorMaker

我正在使用 srimzi 运算符并在 k8s 上运行 kafka 集群。我想使用 Kafka Mirror Maker,我使用 CRD yml 部署了 Kafka Mirror Maker,但是我的 KMM pod 处于 crashLoopBack 状态。我没有得到问题是什么?这是我的 Kafka MirrorMaker yml

还有我的 kafka-cluster yml :

我的第二个 Kafka 集群:

我的 pod 列表及其状态:

Pod 日志:

这是我的 kafka 集群的 svc:

0 投票
1 回答
354 浏览

kubernetes - Strimzi 的 Apache Kafka 运算符是否仍处于测试版?

Apache Kafka 可用于 Strimzi 的 Kubernetes 和 RedHat(AMQ Stream)的 OpenShift。RedHat 的 AMQ 流基于 Strimzi 的 Kafka Operator。

但是当你定义一个像代理或主题这样的 Kafka 资源时,你会用这样的东西来启动你的 YAML

apiVersion: kafka.strimzi.io/v1beta1

它清楚地写着 beta1,这意味着它还没有准备好生产。

我应该在我的 Kubernetes/Openshift 集群上使用 Strimzi 的 Kafka 操作符吗?或者还有其他选择吗?

0 投票
1 回答
1110 浏览

apache-kafka - 如何通过nodeport访问Kafka

我想使用 nodeport 访问我的 Kafka 集群。这是我的 CRD,我正在尝试使用 nodeport 公开 Kafka。

我匹配了运行 Kafka pod 的地址和 Kafka 代理公布的地址 ..两者都相同,但我仍然无法访问。这里是服务:

[kafka@my-cluster-kafka-0 kafka]$ bin/kafka-topics.sh --bootstrap-server 192.168.105.62:31255 --list

我卡在这里。我无法访问。如果我做错了什么,请帮助我。

0 投票
3 回答
1041 浏览

kubernetes - 如何访问卡夫卡桥

我正在使用 srimzi,我想学习如何使用 Kafka 网桥并了解它的工作原理我使用以下 yml 文件创建了一个 Kafka 集群

这是 Kafka 桥的 yml 语法

现在这里是服务

现在我使用以下命令执行它的 pod:

在那之后

然后

然后

然后我制作了

再次我没有得到记录不知道为什么。

这些是 pod 桥的日志

0 投票
1 回答
184 浏览

apache-kafka - Kafka 连接器的动态创建

我使用 Strimzi 和 AKS 在 kubernetes 中部署了一个 Kafka 集群和一个 Kafka Connect 集群。我想开始从 RSS 资源中读取数据来为我的 Kafka 集群提供数据,所以我创建了一个“org.kaliy.kafka.connect.rss.RssSourceConnector”的连接器实例,它从特定的 RSS 源读取,给定一个 url,然后写入一个特定的话题。但我的全部意图是最终拥有一个 Kafka Connect 集群,能够管理大量新 RSS 的外部请求以进行读取;这就是我所有疑问的来源:

  • 我应该为每个 RSS 提要创建一个 Kaliy RSS 连接器实例吗?还是实现我自己的连接器会更好,所以我只创建它的一个实例,每次我想阅读新的 RSS 提要时,我都会在连接器中创建一个新任务?
  • 谁应该负责确保 Kafka Connect Cluster 状态是理想状态?我的意思是如果一个连接器(在 1 个 RSS 提要的情况下:1 个连接器实例)停止工作,谁应该尝试重新启动它?通过 Kafka Connect REST API 的外部客户端?Kubernetes 本身?

现在,我认为我最好的选择是依靠 Kafka Connect REST API 让外部客户端负责管理连接器集的状态,但我不知道这些是否旨在接收大量请求就是这样。也许这些可以通过在 Kafka Connect REST API 配置中配置多个侦听器来扩展,但我不知道。非常感谢!

0 投票
1 回答
1390 浏览

kubernetes - Prometheus 监控差异 Podmonitor 与 AdditionalScrapeConfigs

我正在尝试使用kube-prometheus-stack helm 图表监控Strimzi 。我已经按照Strimzi官方文档中的教程进行了设置。在本教程中,他们都使用 Podmonitors 和 Prometheus 配置来获取一些指标。但我不太明白为什么我需要为某些指标设置 Podmonitor 并在 prometheus.prometheusSpec.additionalScrapeConfigs 中为其他指标添加作业。有人可以向我解释其中的区别吗?

0 投票
1 回答
214 浏览

azure - Strimzi Kafka 与 Azure 存储类兼容?

我正在部署一个 Kafka 集群(使用StrimziKafkaMirrorMaker CRD),该集群使用on复制来自另一个集群的数据Azure。问题是当 Kafka 重新启动时,数据会丢失。我正在使用持久性卷声明(在所有其他情况下都对我有用),所以我非常不确定问题出在哪里。

在浏览Strimzi文件时,我发现了一句话:

“Strimzi 需要通过 StorageClass 提供块存储。存储的文件系统格式必须是 XFS 或 EXT4。支持三种类型的数据存储:”[略低于 5.3]。

问题可能是我的存储类有错误的文件系统吗?我找不到不同 Azure 存储类使用的文件系统。有谁知道这是否会导致问题(或者是XFS/EXT4每个人都使用的标准)?

我在日志中找不到任何相关信息。如果有人想在这里看到我是如何定义我的 Kafka 存储default-hdd-reatin的,自定义存储类在哪里(在其他情况下有效):

0 投票
1 回答
126 浏览

python-3.x - 尝试通过 pykafka 连接到 kafka 时,在所有 docker 映像中出现 import _rd_kafka 错误

嗨,我尝试了多个 docker 映像,例如 Ubuntu 和 python:3.8-alpine 等。在尝试通过 pykafka 库连接到我的 kafka 集群(2.7)时,我到处都遇到如下错误。

环境信息:

注意:仅当我在外部运行时,即直接从我的机器运行代码在容器内运行时,才会发生此错误,然后它工作正常

0 投票
1 回答
180 浏览

kubernetes - 为每个 srimzi kafka 代理添加交易量

我目前有 3 个经纪人和 3 个动物园管理员是使用 strimzi k8s 运算符创建的,但我需要为每个经纪人分开 3 个卷,我该如何实现?

0 投票
1 回答
239 浏览

apache-kafka - 同步Kafka生产者是否有任何例外

如您所知,发送消息有两种方式——同步和异步。

当我们使用同步模式编码时,代码如下所示

从 Kafka 文档https://kafka.apache.org/10/javadoc/org/apache/kafka/clients/producer/KafkaProducer.html#send-org.apache.kafka.clients.producer.ProducerRecord-中读取,它定义为下列的:

所以,基本上 send() 方法返回一个 Futher,然后一旦我为这个未来使用 .get() ,它就会变成同步行为。

我的问题是,从定义上看,我没有看到异常定义,如何在同步send()下捕获异常?似乎没有定义任何例外。有人可以帮助澄清吗?