hbase - 区分kafka中的已读和未读消息

Question

有什么办法可以找到

• 尚未使用消息的偏移量或时间戳

• 最后一个被消费的时间戳

或者使用storm来区分kafka中的已读和未读消息

Answer 1

查找读取的起始偏移量

现在定义从哪里开始读取数据。Kafka 包含两个常量来提供帮助，kafka.api.OffsetRequest.EarliestTime() 在日志中找到数据的开头并从那里开始流式传输，kafka.api.OffsetRequest.LatestTime() 只会流式传输新消息。不要假设偏移量 0 是开始偏移量，因为消息会随着时间的推移而超出日志。

该文档详细解释了使用 Simple Consumer API 的偏移处理。您可能应该找到您正在寻找的东西。

如果您在处理消息偏移时遇到问题，请尝试分享一些代码片段。它有助于以更好的方式理解问题。或者，如果您只是想知道这个概念，那么您可能应该先浏览文档和wiki页面。