0

我需要在我的 Mac 中以 Hadoop 本地模式对一些 Hadoop MR 代码进行原型设计，我想听听可能存在的一些问题。

一个特别的问题是关于映射器和化简器的数量。基本上两者都是一个？指定超过 1 会起作用吗？我将使用较小的样本。

4

1 回答 1

1

您不能在本地模式下指定映射器和减速器的数量。它始终是单线程的。同时，如果您想分析您的映射器或减速器的性能 - 这将是非常现实的。
当所有守护进程都在单台机器上运行时，可以有许多映射器和减速器的最近模式是伪分布式模式。
以上两者都不会考虑数据局部性、洗牌性能可能存在的问题。我也不希望您的开发机器与生产机器具有相同的磁盘子系统。
简而言之-如果您在本地模式下的单个映射器/减速器性能较低-您可以开始修复它。如果它运行良好 - 在规划集群之前尝试真正的硬件。

于 2012-05-13T05:14:11.977 回答