0

我正在尝试使用: DB2--IBM CDC --Kafka构建一个 CDC 管道 ,并且我正在尝试找出设置它的正确方法。我尝试了以下事情 -

1.在 linux on prem 上搭建一个 3 节点的 kafka 集群

setup-iidr-11.4.0.1-5085-linux-x86.bin2.在 linux on prem using- file上安装 IIDR CDC 软件。CDC 实例已启动并正在运行。

各种在线文档建议安装“IIDR 管理控制台”来配置源数据存储和 CDC 服务器配置以及 Kafka 订阅配置来构建管道。

目前我没有安装管理控制台。关于这个的几个问题 -

1. IBM CDC 管理控制台是否有替代方法来设置 kafka-CDC 管道?

2.如何获取IIDR管理控制台?如果我们将它安装在本地 Windows dekstop 上并尝试连接到远程 linux 服务器上的 CDC/Kafka,它会工作吗?

3.任何其他方法来设置数据摄取 IIDR CDC 到 Kafka ?

我对 CDC/IIDR 还很陌生,请帮忙!

4

1 回答 1

4

我负责为我们的 CDC Replication 产品开发 IIDR Kafka 目标。

管理控制台是最初设置订阅的最佳方式。您可以将其安装在 Windows 盒子上。

从技术上讲,我相信您也可以使用我们称为 CHCCLP 的脚本语言来设置订阅。但我建议使用 GUI。

以下是我们的 IIDR (CDC) Kafka Target 资源的链接。搜索“卡夫卡”部分。

https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/W8d78486eafb9_4a06_a482_7e7962f5ac59/page/IIDR%20Wiki

设置订阅和复制的一个例子是这个视频

https://ibm.box.com/s/ur8jokg6tclsx5fcav5g86a3n57mqtd5

管理控制台和访问服务器可以从 IBM 修复中心获得。

我已经在我的虚拟机和我的个人 Windows 机器上安装了 MC/Access 服务器,以便在我的 Linux 虚拟机上使用它。当然,您将需要连接。

您绝对可以跟进我们的支持,他们将能够为您解决问题。另外,我们从这里开始在 MC 知识中心有文档...... https://www.ibm.com/support/knowledgecenter/en/SSTRGZ_11.4.0/com.ibm.cdcdoc.mcadminguide.doc/concepts/overview_of_cdc。 html

您会发现我们的 Kafka 目标非常灵活,它提供了五种不同的格式来将数据写入 Kafka,您可以选择以审计格式捕获数据,或者选择 Kafka 压缩兼容键,删除方法为 null。

此外,您甚至可以使用该产品通过一次插入操作以多种格式将多条记录写入多个不同的主题。如果您的某些消费者应用程序需要 JSON 和其他 Avro 二进制文件,这将非常有用。此外,您可以使用它来将所有数据放入更安全的主题,并将部分数据写入更多人可以访问的主题。

我们甚至有客户在复制时加密正在运行的列。

最后,即使您选择只使用一个生产者来写出数据,产品的转换也可以并行化。

实际上最后,我们还提供了使用特殊消费者的选项,该消费者为写入 Kafka 的数据生成数据库 ACID 语义,并跨主题和分区进行粉碎。它重新订购它。我们称之为事务一致的消费者。它提供了操作顺序、用于重新启动应用程序的书签,并允许性能并行,但仅排序一次,重复数据的消费。

从我在卡夫卡峰会上的演讲...

https://www.confluent.io/kafka-summit-sf18/a-solution-for-leveraging-kafka-to-provide-end-to-end-acid-transactions

于 2018-11-20T19:05:57.377 回答