我有一个 Kafka 主题,其中的值是 MessagePack 编码的。
有没有办法使用 MongoDB Kafka 连接器将来自该主题的记录下沉到 MongoDB 中,或者必须将记录值简单地存储为 JSON?
我有一个 Kafka 主题,其中的值是 MessagePack 编码的。
有没有办法使用 MongoDB Kafka 连接器将来自该主题的记录下沉到 MongoDB 中,或者必须将记录值简单地存储为 JSON?
您需要找到或创建自己的 Kafka Connect Converter
,然后将该包添加到每个 Connect worker 的类路径中,然后将其设置为您的键/值转换器设置,现有的 Mongo Sink 连接器可以从中将消息反序列化为一个Struct
和Schema
表单,并正确处理。
JSON 从来都不是必需的。Avro 和 Protobuf 也应该可以工作