hadoop - 将单个进程分布在集群中的最佳方法

Question

我对集群计算非常陌生，想更多地了解用于集群计算的各种软件，哪些软件最适合特定任务。特别是，我试图解决的问题涉及 Manager/Workers 类型的场景，其中一个 Manager 负责创建 100 到 1000 个工作。每个作业虽然相对较大，但必须逐帧执行。即经理会告诉每个工作，“提前一帧并向我报告”。单个帧的执行将非常小，因此 Manager 和 worker 机器之间的延迟必须非常小，大约为微秒。

谢谢！任何信息都将不胜感激，即使是那些不完全符合我所描述的场景的信息，只是为了给我一个起点。到目前为止，我研究过的一些是 Hadoop、HTCondor 和 Akka。

Answer 1

由于通信延迟对您很重要，您可能应该考虑使用MPI。使用 MPI 编写简单的 Master/Worker 程序并不太难，它可能会给你最好的性能，特别是如果你的集群有高性能的网络，比如 infiniband。

如果看起来您使用的是 Java，则必须进行一些研究以确定一个好的 Java/MPI 包。你会在这里找到一些建议：Java openmpi。