apache-kafka - Confluent 控制中心磁盘空间要求 - 为什么这么大？

Question

Confluent Control Center的系统要求规定需要500GB 磁盘空间。CCC 似乎在 Kafka 本身中存储了一些数据，所以有人可以告诉我这个存储实际上需要什么吗？即是什么阻止了 CCC 在没有持久卷存储的情况下被部署为 Kubernetes 中的容器？

Answer 1

是的，控制中心在 Kafka 中维护一些数据以用于滚动聚合，但它使用 Kafka Streams 来做到这一点，它配置了 RocksDB 数据库，并且可以将这些信息存储在磁盘上。

不过，最新的文档说不到 500GB。

控制中心依赖于 RocksDB 中的本地状态。我们建议至少 300 GB 的存储空间

如果您使用过控制中心，您就会知道您可以访问数月的 Kafka 历史指标。

在大多数公司查看您的平均 Oracle 或 SQL Server 数据库时，300 GB 并不算多。

是什么阻止 CCC 在没有持久卷存储的情况下部署为 Kubernetes 中的容器？

除了能够保留历史数据，并且在 Pod 重新启动和获取数据时启动时间很慢，可能并不多。

但是，一个容器有 8 个内核和 32 GB 的 RAM，可能会构成一个沉重的 pod。