问题标签 [mongodb-kafka-connector]

我在一个项目中工作。我们正在使用事件源架构进行实时流处理。我创建了一个融合的 kafka 连接器，用于从 mongodb 读取数据并写入 kafka。我发现这个过程有 6 到 10 秒的延迟。检查后，我的同事说这种延迟是由于 mongo 写入数据库和副本以及 oplog 之间的延迟。因此，使用 lag 写入 oplog 的数据和 kafka conenctor 从 oplog 读取数据，因此 lag 传播。我想看看如何将延迟减少到 1 或 2 秒。我使用 mongodb 4.x 和 confluent-kafka-connect-jdbc-5.4.1-1

我正在尝试使用MongoDB更改流使用Kafka. 我选择 AWS MSK 是因为我的整个基础设施都在 AWS 内，而且很容易与其他 AWS 服务集成。

我在 VPC 中创建了一个 AWS MSK 集群，并使用mongodb Kafka connector创建了一个 AWS MSK 连接。我收到以下错误（异常打开套接字，连接超时）

为了测试它是否与 VPC 有关，我通过将 0.0.0.0 列入白名单来授予公众对 MongoDB 的访问权限，然后连接器工作正常。所以我相信它与VPC有关。

我多次尝试使用带有公共子网、NAT 网关等的 VPC 的 AWS MSK，但它仍然无法正常工作。我得到同样的错误。我相信 AWS MSK 连接器使用与 AWS MSK 相同的 VPC 配置，因为 AWS MSK Connect 没有单独的配置。

我遇到了 MongoDB Kafka 连接器的问题。我正在尝试将来自控制台生产者（和控制台消费者）的 json 消息生成到 Kafka 主题中。

当消息小于 4096 字节时，它会被正确消费。但是当消息大于 4096 字节时，我得到了这个异常：

有谁知道是什么导致了这个错误？更重要的是，如何解决这个问题？

注意。我尝试修改代理的一些默认属性，以及生产者/消费者，例如：offset.metadata.max.bytes、max.request.size、message.max.bytes、fetch.max.bytes n 等。

请任何人帮助

我会直截了当：

是否可以将 MongoDB Kafka 接收器和源连接器注册为 Spring Cloud Data Flow 中的应用程序？或事实上其他类型的 Kafka 连接器？

MongoDB Kafka Source 连接器需要将 MongoDB 配置为副本集集群才能读取 opLog 中的更改流（独立的 MongoDB 实例无法生成更改流）。SCDF MongoDB 源启动器是否使用 MongoDb 集群的更改流来检测更改事件？还是直接从 MongoDB 数据库中读取更改？

谢谢

我正在使用 MongoSourceConnector 将 kafka 主题与 mongo 数据库集合连接起来。对于具有单个 kafka 主题的单个数据库，它工作正常，但是有什么方法可以为具有单个 kafka 主题的多个 mongo 数据库建立连接。

我正在使用 mongodb kafka source connector v1.6 ... kafka connect 以分布式模式运行问题是来自 mongo db 的消息未发布到相应的 kafka 主题

日志：

下面是我的配置文件：

}

请帮我修复它

我正在使用 mongo kafka 源连接器 v1.6 .. 我正在尝试连接它的 mongo db 副本集我有这样的连接 uri

mongodb://:@instance1:27017,instance2:27017,instance3:27017/?authSource=test&replicaSet=replicaset&ssl=true

我得到的错误是

无法连接服务器

...用户名和密码是crct，并且与数据库的连接也打开了你能告诉我做错了什么吗

我们有具有三个副本的 MongoDB 集群。我已将首选 TLS 和身份验证类型启用为 MongoDB-X509。

我们有三个代理 strimzi kafka 集群，并将集群与所有必需的插件（即 debezium 提供的 mongoDB）连接起来并运行。

下面提供了用于 kafka 连接部署的部分 connect.yaml 文件：-

部署工作正常，能够在 /opt/kafka/external-configuration/connector-config 目录中看到 ca.pem 和 mongo-server.pem 文件。

之后，我尝试使用下面给出的配置文件创建 mongoDB 连接器，但不确定传递证书的确切方式。因为没有可用于 mongoDb 连接器的示例配置文件。您能否通过提供一些示例配置来帮助解决这个问题。

我尝试了以下配置文件：-

但它抛出了语法错误。请通过提供示例 mongoDB connector.yaml 来帮助解决这个问题？

我们试图避免使用文件配置提供程序暴露 Mongodb 连接 url 的秘密。我们将连接 url 存储在 secrets.properties 文件中。

我们在 connect-distributed.properties 文件中添加了以下行

在连接器配置中，我们添加以下行

}

但是配置加载失败，连接超时，抛出以下错误

连接器配置无效并包含以下 1 个错误：\n无法连接到服务器。\n您还可以在端点 `/connector-plugins/{connectorType}/config/validate 找到上述错误列表

正如我从文档和其他参考资料中看到的那样，无论通过属性 (tasks.num) 定义的值如何，似乎连接器都将使用单个任务进行实例化

• 具有多个任务的分布式官方 Mongodb Kafka 源连接器不起作用
• Kafka Connect 中的连接器和任务之间有什么关系？

1. 这个属性是否tasks.num会像在故障转移等情况下产生任何影响......？比如说，如果tasks.num配置了 2 并且 jdbc 连接器与单个任务一起使用，并且如果该任务失败并且其他任务将接管？
2. 在这种情况下，分布式模式的意义是什么，有效地，连接器是用单个任务创建的？