apache-kafka-streams - Kafka Streams：如何归档具有特定 ttl 的数据

Question

Kafka 流提供了不同的持久存储，其中之一是 RocksDBWindowStore。因此，如果我们设置保留时间，如果超过保留时间，它将删除键值对。在删除这些数据之前，是否提供了我们可以使用的任何回调功能？用例-我想在从rocksdb中删除数据之前将数据存档到分布式数据库中）。

score 1 · Accepted Answer

没有回调。

但是，所有数据也会写入 Kafka 中的一个主题。因此，您可以使用此主题将数据归档到不同的存储中。主题名称将是<application.id>-storeName-changelog.

score 0 · Accepted Answer

虽然没有回调，但 Rocksdb 本质上是一个按键排序的排序数据库。因此，我使用了两个存储，一个基于时间戳（一种树图），其中包含一组键，另一个基于原始键值。因此，我可以遍历基于时间戳的存储并从其他存储中存档键值对，然后从两个存储中删除键，这些键需要在特定时间后存档。

2 回答 2