4

我一直在学习 Storm 和 Samza，以了解流处理引擎的工作原理，并意识到它们都是独立的应用程序，为了处理事件，我需要将其添加到也连接到流处理引擎的队列中。这意味着我需要将事件添加到队列（这也是一个独立的应用程序，比如说 Kafka），Storm 将从队列中选择事件并在工作进程中处理它。如果我有多个螺栓，每个螺栓将由不同的工作进程处理。（这是我不太了解的事情之一，我看到一家公司在生产中使用了 20 多个螺栓，并且每个事件在某个路径的螺栓之间转移）

但是我真的不明白为什么我需要如此复杂的系统。这些进程涉及太多的 IO 操作（我的程序 -> 队列 -> 风暴 ->> 螺栓），这使得控制和调试它们变得更加困难。

相反，如果我从 Web 服务器收集数据，为什么不直接使用同一个节点进行事件处理呢？这些操作已经通过我用于 Web 服务器的负载均衡器分布在节点上。我可以在相同的 JVM 实例上创建执行器，并将事件从 Web 服务器异步发送到执行器，而不涉及任何额外的 IO 请求。我还可以观察 Web 服务器中的执行程序，并确保执行程序处理了事件（至少一次或完全一次处理保证）。这样，管理我的应用程序会容易得多，并且由于不需要太多的 IO 操作，因此与通过网络将数据发送到另一个节点的其他方式相比，它会更快（这也是不可靠的）并在该节点中处理它。

很可能我在这里遗漏了一些东西，因为我知道许多公司都在积极使用 Storm，而且我认识的许多人推荐使用 Storm 或其他流处理引擎进行实时事件处理，但我就是不明白。

4

2 回答 2

3

我的理解是，使用 Storm 这样的框架的目标是从应用程序/Web 服务器中卸载繁重的处理（无论是 CPU 绑定、I/O 绑定还是两者兼有）并保持它们的响应速度。

考虑到每个应用程序服务器可能必须服务大量并发请求，而不是所有请求都与流处理有关。如果应用服务器已经在处理大量事件，那么它可能会成为较轻请求的瓶颈，因为服务器资源（例如 CPU 使用率、内存、磁盘争用等）已经与较重的处理请求相关联。

如果你需要面对的实际负载不是那么重，或者如果它可以通过添加应用服务器实例来简单地处理，那么复杂化你的架构/拓扑当然没有意义，这实际上可能会减慢整个事情下来。这实际上取决于您的性能和负载要求，以及您可以投入多少（虚拟）硬件来解决问题。像往常一样，基于您的负载要求的基准测试将有助于决定走哪条路。

于 2014-10-15T21:29:50.717 回答
1

您认为通过网络发送数据将消耗总处理时间的更多时间是正确的。但是，创建这些框架（Storm、Spark、Samza、Flink）是为了处理大量可能无法容纳在一台计算机的内存中的数据。因此，如果我们使用多台计算机来处理数据，我们就可以实现并行性。并且，根据您关于网络延迟的问题。是的！这是一个需要考虑的权衡。开发人员必须知道他们正在实施要在并行框架中部署的程序。他们构建应用程序的方式也会影响通过网络传输的数据量。

于 2019-06-29T11:40:00.793 回答