apache-kafka - Kafka Connect 墓碑消息不应用 InsertField 转换

Question

InsertField 转换不适用于墓碑消息。

我正在使用 postgres 10.1 / debezium 1.2.1 版本 / kafka 2.4.1 版本

例如。

• 配置

{
...
    "transforms": "InsertField",
    "transforms.InsertField.type": "org.apache.kafka.connect.transforms.InsertField$Key",
    "transforms.InsertField.static.field": "__host",
    "transforms.InsertField.static.value": "abc.com",
...
}

• 插入

key - {"id":1, "__host": "abc.com"}, value - {"id":1, "__host": "abc.com", "col1": 1, "col2": "a"}

• 删除（墓碑消息不应用InsertField转换）

key - {"id":1, "__host": "abc.com"} value - {"id":1, "__host": "abc.com", "col1": null, "col2": null}
key - {"id":1} value - null

为什么会这样？是虫子吗？还是我错了？

Answer 1

InsertField墓碑消息转换的预期行为：

键字段被插入，值保持为空。

但是在您的 Kafka Connect 版本（2.4.1）中存在一个错误：未插入关键字段。它已在KAFKA-9707中修复：InsertField.Key 转换应应用于墓碑记录

您可以将您的 Kafka Connect 集群升级到某个修复版本（例如 2.4.2）。