elasticsearch - Kafka Connect 的 Elasticsearch 连接器 - 偏移量和时间戳

Question

我正在为 kafka 连接使用弹性搜索连接器（汇合）。我正在从主题获取消息到弹性搜索索引。如果没有使用任何键，我可以看到偏移量是 _id 的一部分。我想根据偏移量和时间戳浏览 elasticseach 中的消息。

是否可以将消息的偏移量和时间戳作为索引中的字段？

这是弹性搜索文档

{ "_index": "test-elasticsearch-sink", "_type": "kafka-connect", "_id": "test-elasticsearch-sink+0+0", "_score": 1, "_source": { "f1": "value1" } }

谢谢， 拉杰什

Answer 1

使用单消息转换，您确实可以添加新字段，包括偏移量和时间戳等值。看看org.apache.kafka.connect.transforms.InsertField。

Answer 2

目前这是不可能的，但我们正在考虑允许将记录元数据（如timestamp, topic, partition, ）提升offset到字段的功能。