我们的用例是从 kafka 中删除过时/未使用的主题,即如果一个主题(在所有分区上)在过去 7 天内没有任何新消息,那么我们会将其视为过时/未使用并删除它。
许多谷歌结果建议在消息中添加时间戳,然后对其进行解析。对于灵魂可以工作的新主题和消息,但我们现有的主题和消息中没有任何时间戳。
我怎样才能得到这个工作?
我们的用例是从 kafka 中删除过时/未使用的主题,即如果一个主题(在所有分区上)在过去 7 天内没有任何新消息,那么我们会将其视为过时/未使用并删除它。
许多谷歌结果建议在消息中添加时间戳,然后对其进行解析。对于灵魂可以工作的新主题和消息,但我们现有的主题和消息中没有任何时间戳。
我怎样才能得到这个工作?
kafka.api.OffsetRequest.LatestTime()
将返回添加到队列中的最新消息。您可以使用Simple Consumer API
来确定要读取的偏移量。
有关更多详细信息,请查看wiki页面