performance - Apache Kafka 的数据流生成器

Question

我正在为 Kafka-broker 寻找一个简单的事件/数据流生成器，以便在 Hadoop 框架的流工具上运行一些性能测试。目前没有找到合适的。它应该能够在很短的时间（毫秒）内发送大量（大部分相等）消息。

谢谢！

Answer 1

您可以使用 Kafka 0.9+ 附带的 kafka-producer-perf-test.sh 工具。它允许您生成许多给定大小的消息。这个工具只是一个生产者，允许您发送一批消息并收集统计信息。

在我们的性能测试中，我们使用这个工具（或我们自己的性能生产者，但与此类似），当我们想要增加负载时，我们将多个实例并行运行到不同的主机中。