我们试图避免使用文件配置提供程序暴露 Mongodb 连接 url 的秘密。我们将连接 url 存储在 secrets.properties 文件中。
我们在 connect-distributed.properties 文件中添加了以下行
config.providers=file
config.providers.file.class=org.apache.kafka.common.config.provider.FileConfigProvider
在连接器配置中,我们添加以下行
{
“name”: “MarketPlaceSourceConnector”,
“config”: {
“connector.class”: “com.mongodb.kafka.connect.MongoSourceConnector”,
“pipeline”: “[{”$match":{"$or":[{“operationType”:“insert”},
{“operationType”:“update”}]}}]",
“database”: “markk”,
“publish.full.document.only”: “false”,
“change.stream.full.document”: “updateLookup”,
“tasks.max”: “1”,
“connection.url”: “${file:/opt/secrets.properties:mongodb-connection-uri}”,
“value.converter”: “org.apache.kafka.connect.json.JsonConverter”,
“collection”: “marketplace”,
“key.converter”: “org.apache.kafka.connect.json.JsonConverter”
}
}
但是配置加载失败,连接超时,抛出以下错误
连接器配置无效并包含以下 1 个错误:\n无法连接到服务器。\n您还可以在端点 `/connector-plugins/{connectorType}/config/validate 找到上述错误列表