java - 在性能方面，在典型的令人尴尬的并行场景中使用 Hadoop over MPI 会更好吗？

Question

我对两者都是新手，但我想了解什么时候使用一个比另一个更好。

我知道 Hadoop 只适用于令人尴尬的并行任务（而且 MPI 几乎适用于其他任何任务），但我不禁注意到使用 MPI 开发大规模并行程序对于MPI_BcastandMPI_Allreduce函数几乎是微不足道的。

那么谁能告诉我更多关于每个（Hadoop 和 MPI）的最佳使用场景的信息？是否有任何时候（性能方面）我应该寻找一个而不是另一个？

Answer 1

MPI 和 Hadoop 是为不同的目的而设计的。MPI 是一种相对简单的通信中间件，适用于紧密耦合的稳定静态系统，例如超级计算机或专用计算集群。它试图在消息传递方面非常轻便和快速，并提供一些处理数据数组的选项。虽然它支持异构环境，但它不支持故障转移或容错——如果一个进程死掉或某个计算节点发生故障，这通常会导致整个 MPI 作业中断。