2

我一直在尝试将数据从 SQL 服务器（启用更改跟踪）加载到 Kafka，以便它可以被一个或多个系统（报告、其他数据库等）使用

我已经设法为 sql server (confluentinc/kafka-connect-cdc-mssql:1.0.0-preview) 配置了 Kafka 连接插件，并且我还设法在 kafka 机器上启动了它。

我一直在寻找有助于回答以下问题的文档（找不到任何文档）

  1. 我如何将 kafka 主题与此连接相关联？
  2. 根据我发现的信息（在 debezium 论坛上），将为每个单独的表创建一个主题->它与 kafka sql server 连接器的工作方式相同吗？
  3. 我已经在分布式模式下配置了连接，我们在多台服务器上运行 kafka，我们需要在每台服务器上运行连接吗？
  4. 有没有人将 Debezium 与 sql server 更改跟踪和 kafka 一起使用？Debezium 的网站描述了“alpha 阶段”中的连接，我想知道是否有任何活跃用户。

PS：我也对将实时数据从 sql server 加载到 Kafka 的其他选项持开放态度（带有时间戳/数字字段的 jdbc 连接是我的备份选项。备份选项，因为我的源数据库中有一些表不包含此类字段[没有也不能使用数字/时间戳字段跟踪更改]）。

4

1 回答 1

0

1 & 2 -- How do i associate a kafka topic with this connection

I would believe it's per table, but you might be able to use a RegexRouter Connect transform to merge multiple tables into a single topic.

3 -- configured the connection in a distributed mode, we have kafka running on multiple servers, do we need to run the connection on every server

Kafka Connect should run outside of your Kafka servers. It is independently scalable.

4 -- Debezium with sql server change tracking

I have not. Probably a better question to ask to the Debezium mailing lists or JIRA tickets working on these features.

于 2018-11-14T23:51:35.313 回答