0

我一直在为我的一个用例探索 Apache Storm。Spout 将从我自己的 kafka 实现中读取数据,并将其传递给 bolts。

我的拓扑对单个消费者组的工作速度更快。如果我增加拓扑内的消费者组的数量,我会看到处理速度很慢,尽管我有专用于所有消费者组的每个分区的 spout 和 bolts。

当我调试时,我发现在我的处理过程中发生了更多的上下文切换,因此记录了处理螺栓的线程名称。我可以看到,有时不同的执行器线程传递相同的螺栓 ID。

我怀疑因此可能会发生上下文切换,并且由于 cpu 线程缓存未命中,延迟可能会增加。

我的假设是否正确。如果这是这种行为,是否有任何选项可以通过相同的执行线程设置任务,而不是将其传递给另一个执行线程。

4

1 回答 1

0

经过进一步的分析和调试,我发现运行storm进程的vm中存在CPU窃取。因此,我考虑了核心数量是否会成为问题。

因此,我在具有大量内核的机器上运行了相同的进程,并且 CPU 窃取率降低了,而且我没有看到我的处理速度很慢。所以所有这些问题似乎都与机器配置有关。

于 2021-02-19T06:48:19.183 回答