我们的大多数服务都使用 Kafka 存储,如您所知,它在后台使用 RocksDB。我们正在尝试每 6 小时删除一次过时且格式错误的记录,以释放空间。即使该记录已从 RocksDB 中删除(添加了一个墓碑并且该记录不再可用),我们也没有看到空间发生任何变化。
我想,需要触发压缩,以便压缩已删除的记录。但是,据我所知,只有当 L0 文件的数量达到 level0_file_num_compaction_trigger 时才会触发分级压缩。由于我的服务几乎不消耗任何数据(在开发环境中),我相信无法触发压缩,因此“已删除”记录仍然存在。
请注意,我们只使用默认的 RocksDB 配置。我还注意到,当我在自定义 RocksDB 配置中使用 #options.setDeleteObsoleteFilesPeriodMicros() 时,本地存储的大小会急剧下降。但是,我不确定该方法究竟做了什么。
我还读到,可以选择使用压缩过滤器进行定期压缩。但是,我不确定如何使用 Java 添加一个。