apache-kafka - 我应该如何在 apache kafka 中选择我的日志压缩类型？

Question

我想在 Apache Kafka 中压缩数据日志。我怎么知道该选择哪一个？对我来说，性能和空间很重要。

Server.properties 文件

Compression.type = snappy，gzip，lz4 vb。利用。

Answer 1

有趣的是，Uber 使用 zlib 和 MsgPack 序列化消息。但是，您应该在自己的硬件、网络和存储上执行自己的基准测试（例如，这些数字是使用 Python 库获得的）

关于底层序列化，通过 Schema Registry 进行的 Avro 序列化允许您拥有比纯文本或 JSON 更严格的模式定义规则，并且 Avro 通常与 Snappy 压缩很好地搭配