hadoop - 可以同时运行多少个 Mapreduce 作业

Question

我想知道在单个节点hadoop环境中可以同时提交/运行多少个Mapreduce作业。有什么限制吗？

Answer 1

从配置的角度来看，我知道没有限制。您可以将 map 和 reduce 插槽的数量设置为任何您想要的。但实际上，每个插槽都必须启动一个能够运行一些 hadoop 代码的 JVM，这需要一定量的内存，所以最终你的机器上的内存会用完。您可能还必须巧妙地配置作业队列，以便同时运行大量任务。

现在，什么是可能的问题与什么是好主意是完全不同的问题......

Answer 2

您可以提交任意数量的作业，它们将排队，调度程序将根据 FIFO（默认）和可用资源运行它们。hadoop 执行的作业数量将取决于上面 John 的描述。

Answer 3

Reducer 槽的数量是在配置集群时设置的。这将根据每个作业请求的 Reducer 数量来限制 MapReduce 作业的数量。映射器通常更受 DataNode 数量和每个节点的处理器数量的限制。