4

我正在使用带有 srimzi 运算符的 Kafka，我创建了一个 Kafka 集群，并且还使用 yml 文件部署了 Kafka 连接。但在此之后我完全空白下一步该做什么。我读到 Kafka 连接用于将数据从源复制到 Kafka 集群或从 Kafka 集群复制到另一个目的地。我想使用 Kafka 连接将数据从文件复制到 Kafka 集群的任何主题。任何人都可以帮助我如何做到这一点，我正在共享 yml 文件，我使用该文件创建了我的 Kafka 连接集群。

apiVersion: kafka.strimzi.io/v1beta1

kind: KafkaConnect

metadata:

  name: my-connect-cluster

#  annotations:

#  # use-connector-resources configures this KafkaConnect

#  # to use KafkaConnector resources to avoid

#  # needing to call the Connect REST API directly

#    strimzi.io/use-connector-resources: "true"

spec:

  version: 2.6.0

  replicas: 1

  bootstrapServers: my-cluster-kafka-bootstrap:9093

  tls:

    trustedCertificates:

      - secretName: my-cluster-cluster-ca-cert

        certificate: ca.crt

  config:

    group.id: connect-cluster

    offset.storage.topic: connect-cluster-offsets

    config.storage.topic: connect-cluster-configs

    status.storage.topic: connect-cluster-status

@kubeclt create -f kafka-connect.yml -n strimzi

在 Kafka connect 的 pod 处于运行状态之后，我不知道下一步该做什么。请帮我。

4

2 回答 2

2

Kafka Connect公开了一个 REST API，因此您需要从 Connect pod 公开该 HTTP 端点

我读到 Kafka 连接用于将数据从源复制到 Kafka 集群或从 Kafka 集群复制到另一个目的地。

那是一个应用程序，但听起来你想要MirrorMaker2来代替它

如果您不想使用 REST API，请取消注释此行

#    strimzi.io/use-connector-resources: "true"

并使用另一个 YAML 文件来配置 Connect 资源，如此处所示的 Debezium。看kind: "KafkaConnector"

于 2020-11-19T21:09:18.037 回答
1

从头开始看这个简单的例子。不是你想要做的，但非常接近。我们正在使用 向主题发送消息，kafka-console-producer.sh并使用文件接收器连接器使用它们。

该示例还展示了如何通过创建您自己的自定义连接图像来包含其他连接器，基于 Strimzi 图像。对于涉及外部系统的更复杂的示例，将需要此步骤。

于 2020-12-08T15:58:31.063 回答