java - 了解Kafka写入速度

Question

鉴于
1. 5 台机器 Kafka 集群
2. 1 个主题和 1 个分区
3. msgs 的持久存储
4. 每个 1 KB 的 msg
5. 10 个生产者

现在，这个集群的最大写入能力是否等于一个 java 线程在磁盘上的最大写入能力？如果没有，会是什么？

Answer 1

如果您只有一个分区，那么 kafka 无法扩展您的主题并仅使用 5 个实例集群中的一台机器。

无法判断您对 java 的编码有多好，但结果将与我假设的 kafka 相似，但差异很小，因为 kafka 针对磁盘写入进行了优化。

Answer 2

您不能真的说它是“等于”，因为它不准确，但是是的，假设磁盘 I/O 将成为您的瓶颈，写入容量将几乎相同。考虑到 Kafka 已针对此任务进行了优化，并且可能比标准 Java 应用程序的原始磁盘写入性能更好。