问题标签 [ibm-data-replication]

对于企业范围的数据流平台实施，我们正在使用融合的 kafka 和 ibm iidr cdc。

为什么 IIDR 管理控制台在配置 kafka 订阅时只有两个选项来使用 zookeeper 和 rest 代理？

从安全角度来看，完全不建议暴露 zookeeper。我们如何才能为他们提供代理端点以连接到 kafka ？或者我们如何实现 IIDR 融合 kafka 连接器？ https://www.confluent.io/connector/ibm-data-replication/

如何在 IIDR CDC 和 Kafka 中实现 SSL？任何文件链接？

谢谢！

我们将表数据从 db2 发送到 iidr-cdc 到 kafka 。当您在 kafka-avro-console-consumer 中看到消息时，我们遇到了 Kafka 主题中的数据格式问题。

对于定义为 DEFAULT NULL 的 Db2 列，如果它们的值为 null，它在 kafka 主题中看起来很好 (as key:value) 。但是当值不为 null 时，它被包装在字典中。

如果列是示例输出 -

在这里，该条目的键是列的数据类型，值是列值。--> 这种输出格式不适合我们的应用

如果该值实际上是 null 并且列定义为 DEFAULT NULL，它看起来很好。果然不出所料——

我们如何在 IIDR CDC 或 KAFKA 端进行更改以始终以 key:value 格式显示消息，就像这样 - （即使 DEFAULT NULL 列在列中包含一些值）

谢谢！

我们正在尝试将 db2-IIDR (IBM CDC) 的数据发布到 AWS 上的 Kafka。由于以下错误，订阅失败 -

在 aws 上将流从 IIDR 发布到 Kafka 是否需要执行任何先决条件？

更多细节——

-Kafka 集群在 AWS 上运行

-IIDR CDC 引擎 --> 内部部署（源和目标）

- 本地 IP 已被列入白名单，我可以 ping/telnet 端口从本地到 aws，反之亦然。

谢谢！

我在 informix 中有一个包含 80,000,000 条记录和大约 1,000 tps 的大型事务表。如何在不丢失数据的情况下复制它？

- 使用加载/卸载在镜像结束之前跳过刷新并丢失数据

- 使用镜像前刷新，复制 12,000,000 条记录后停止订阅，sql 错误号为 242。

我们正在尝试测量 Infosphere CDC-Confluent kafka 设置中消息写入的延迟。我们有虚拟表，将执行虚拟事务。

数据流- MF DB2 表 --> IIDR --> Kafka 主题

（对于 Kafka，生产者是 iidr）

在没有任何企业监控工具的情况下找出示例事务的写入延迟的正确方法是什么？我们是否可以检查写入日志并考虑每个事务时间戳并与 cdc 事务日志进行比较以找出写入延迟？

PS-我已将 jconsole 配置为收集 kafka 指标。但是我们如何才能找到特定 CDC 流对 kafka 主题的写入延迟？

谢谢！

我们需要捕获 DB2 z/OS 环境中的更改并将其共享到基于 Kafka 的信息中心。我们已经尝试过 ETL 工具来做类似的事情，但我们担心 ETL 对我们的源 DB2 z/OS 环境的影响。

我们已经在 IBM Data Replication CDC Replication Engine for Kafka 上建立了工作订阅。消息（复制事务）开始出现在目标 kafka 主题上。

我们的目标是创建一个程序，从 kafka 读取这些消息并写入目标系统上的文件。

1. 我们如何调整kafka_bookmark_storage_type参数？我们开始按照此处提供的说明进行操作。根据Kafka 事务一致的消费者部分，有一个先决条件。我们必须

   “[..] 将系统参数 kafka_bookmark_storage_type 从默认值 POINTBASE 更改为值 COMMITSTREAMTOPIC.[..]”。

   您能否建议在哪里更改上述参数？我们的目标系统在 Linux 上运行。源代码在 AIX 上运行。这导致：

2. 事务一致的客户端或 WebHDFS：如果我们宁愿将 CDC 用于 WebHDFS 而不是 CDC Kafka，我们在技术上会失去/获得什么功能？

我想更改一些源文件参数。根据手册，它说我们可以使用 SET CONFIG 参数进行修改？

此命令是否要在控制台中发出？或者当我们在控制台中发出这个命令时，它如何确保这个命令属于 CDCSRVR？

我已经获得了从 DB2LUW 到 Microsoft SQL Server 的 Infosphere CDC 环境。

因为我们有磁盘空间问题，我们需要过滤复制；选定的数据将按日期列复制。

源表插入方式为APPEND，很少更新。在创建订阅过滤选项卡期间，当我运行验证按钮时，它会返回如下所示的错误。

我已经阅读了文档，但我无法理解它，并且没有满足我的场景的示例表达式。我不确定为什么 CDC 无法使用时间戳数据类型列执行过滤。

当我尝试将我的时间戳列转换为 char 格式时，CDC 发现它是有效的：

由于我没有任何开发环境，因此我没有足够的信心运行它。

我预计会出现一些性能问题，因为 (business_date) 的每一行都需要首先转换，然后再与过滤条件进行比较。

最后，我的表映射被另一列（bigint 数据类型）过滤。我只是很好奇为什么刷新过程似乎没有使用任何索引来过滤行（CDC在源数据库中运行的查询没有使用任何过滤器），尽管它有助于加速刷新，因为不是每个数据都会需要插入到目标表中。

CDC 可以使用时间戳数据类型列执行过滤吗？有什么建议么？

在浏览 CDC 11.4.0 的 IBM Data Replication 文档时，我偶然发现了以下页面，该页面描述了 DB2 LUW 支持的表类型。

https://www.ibm.com/support/knowledgecenter/SSTRGZ_11.4.0/com.ibm.cdcdoc.planningadeployment.doc/concepts/udb_supportedtabletypes.html

我们真的是认真的，不再支持范围分区表和 MDC 表吗？！我们目前正在使用功能完美的 CDC 10.2.1 复制 MDC 表，并且还在考虑在不久的将来对一些表进行范围分区，据我所知，自 CDC 6.5.2 起就支持该表。此处的文档是否正确？如果正确，我们可能会在未来的版本中丢失哪些其他核心功能？

我的快速测试表明，“范围分区”和“mdc”表的复制在 CDC 版本 11.3.3 for DB2 LUW 下仍然有效。

因此，为什么文档另有说明，这让我完全感到惊讶。

实际上，CDC早期版本的相应知识中心页面似乎不存在，因此明确添加了这条信息。当您从产品管理部门获得反馈时，请告诉我，以便我们知道此功能是否仍受官方支持或只是因为未从代码中删除而正常工作。

在前一种情况下，文档当然应该更新。