问题标签 [mongodb-kafka-connector]

我想知道是否建议创建多个 Kafka 连接器来流式传输同一数据库或同一 MongoDB 集群中的不同数据库中可用的多个集合数据。

我认为每个集群只有一个 oplog。因此很容易读取多个集合的数据，并且这种方法将减少集群的负载。但我不确定将数据放在每个集合的不同 Kafka 主题上会有多容易。而在创建多个连接器的第二种方法中。我觉得这会给服务器带来太多负载。

请建议推荐的方法是什么。

我使用 com.mongodb.kafka.connect.MongoSourceConnector

作为将数据从 MongoDB 导入 Kafka 的来源。需要添加十进制字段。但是在设置连接器并添加本文档中的类型后， https://avro.apache.org/docs/current/spec.html#Decimal 我收到一个错误 org.apache.kafka.connect.errors.DataException: Schema type of bytes but value was of type: decimal128是否可以为字段“金额”写精确的十进制? 谢谢！

蒙古记录

我的配置

我在 docker 上有一个 kafka 连接集群（cp_kafka_connect_base），我需要包含一个.pem文件才能通过 TLS 连接到源。似乎连接中已经包含许多受信任的证书，那么如何添加新的受信任证书而不使旧证书失效？

具体问题

我想使用MongoDB Source Connector以及许多其他连接器。根据文档，我已将我的.pem证书导入.jks商店，并将以下环境变量添加到我的 kafka 连接容器中：

KAFKA_OPTS=" -Djavax.net.ssl.trustStore
= mystore.jks
-Djavax.net.ssl.trustStorePassword= mypass

这让我可以连接到我的数据源，但会使其他 TLS 连接无效，除非我将它们全部添加到我的.jks. 由于所有其他 TLS 连接都是开箱即用的，因此我不需要手动将它们中的每一个导入 a .jks，只是为了让一个连接器实现满意。

我也尝试过设置：

CONNECT_SSL_TRUSTSTORE_TYPE：“PEM” CONNECT_SSL_TRUSTSTORE_LOCATION：“ myloc ”

但是不知道信任库位置配置，并且 TLS 不起作用：

WARN 提供了配置“ssl.truststore.location”，但不是已知配置。(org.apache.kafka.clients.consumer.ConsumerConfig:384)

安装了 srimzi

输出：

(strimzi-kafka-connect:0.28) 我曾经使用以下 Dockerfile 构建图像

以下是 KafkaConnect 配置：

使用https://github.com/strimzi/strimzi-kafka-operator/releases/tag/0.28.0安装 Kafka

具体（kafka-persistent.yaml）具有以下配置：

以下是插件的状态：

当我为 mysql 创建连接器时，一切正常。

主题和连接器创建成功，输出如下：

连接器状态：

每当我在库存数据库表中添加或更新记录时，我都会收到架构更改。

问题：

整个设置都不适用

或者

这是 curl 的输出：

或与

如果你让我知道我错过了什么，我将不胜感激。

如果使用 Strimzi 和 Mongodb 无法实现 REST，那么还有什么替代方法？

它与 Strimzi-Kafka 的版本有关吗？它与Mongodb插件的版本有关吗？

谢谢