0

我们正在尝试测量 Infosphere CDC-Confluent kafka 设置中消息写入的延迟。我们有虚拟表,将执行虚拟事务。

数据流- MF DB2 表 --> IIDR --> Kafka 主题

(对于 Kafka,生产者是 iidr)

在没有任何企业监控工具的情况下找出示例事务的写入延迟的正确方法是什么?我们是否可以检查写入日志并考虑每个事务时间戳并与 cdc 事务日志进行比较以找出写入延迟?

PS-我已将 jconsole 配置为收集 kafka 指标。但是我们如何才能找到特定 CDC 流对 kafka 主题的写入延迟?

谢谢!

4

1 回答 1

0

(仅供参考:我为 IBM 工作,特别为 IDR CDC 产品工作)

IDR 复制产品中的集成 KCOP(Kafka 自定义操作处理器)在创建 Kafka 生产者记录时不提供时间戳参数。如果您使用没有 KCOP 的默认行为,也会出现这种情况。

因此,Kafka 会在收到每个生产者记录时为其生成一个时间戳,并将其与记录相关联。读取消息时,此时间戳值包含在消费者记录中。

这可以通过减法与从源生成的时间进行比较。有一个时间戳日志控制字段,可以与行数据一起复制。在某些来源(例如 Db2 LUW)上,它表示事务的提交时间。On some 表示将特定行添加到日志中的时间。

https://www.ibm.com/support/knowledgecenter/en/SSTRGZ_11.4.0/com.ibm.cdcdoc.mcadminguide.doc/refs/recordmodificationtime.html

一般来说,我认为最好从提交实际生效时考虑延迟,但这取决于您要了解的内容。

我相信在 DB2 Z 上,每个都是操作日志条目的时间,您可以通过使用事务中最后一个操作的时间戳条目来粗略估计。这忽略了最后一个事务的写入和实际提交之间的延迟量,但通常它们非常接近。

IDR 确实提供了功能增强请求,因此如果您希望看到增强功能,请随时通过支持或此联系。

问候,

于 2020-05-20T15:52:54.820 回答