apache-spark - 如何通过 SimpleConsumer 在 Kafka 中获取没有获取请求的消息的大小（元数据）？

Question

我正在使用 SimpleConsumer 并尝试使用 spark 明智地提取消息大小（字节）。

我能够使用元数据请求获得最早和最新的偏移量，但不知道如何获取 kafka 中的字节数（0.8.0）。

我真的不想使用获取请求，因为想要检查足够的数据然后只会运行火花作业（而不是流式传输）来执行操作。

Answer 1

从元数据响应无法获取大小，要获取大小需要下载无意义的消息。