1

我正在尝试在 10 个数据节点的集群中对 Map reduce 程序进行性能测试。在此过程中，我使用了 5 个减速器，然后是 10 个，依此类推。

我在想增加减速器的数量也会使工作完成得更快，但我观察到，在 30 之后，即使你将数量增加到 70，工作运行时也没有任何区别，尽管有超过 400 个唯一键并且还在增加超过 30 个减速器的数量应该会有所不同，不是吗？

谁能帮助我了解这是否有任何特殊原因？

提前致谢

4

1 回答 1

1

您没有观察到性能提升的原因有多种。当您进行此性能测试时，您正在运行哪些基准？还有你有多少映射器？你的工作量是多少等等...

根据您在此处简要描述的内容，我们可以怀疑您没有足够的映射器和/或它们完成得太慢。

请记住，只有在映射器有可用输出时，reducer 才能开始工作。因此，您的 30 个减速器可能足以处理映射器的输出速度和大小，因此添加更多不会有任何区别，因为它们中的大多数都处于空闲状态，等待映射器完成并为减速器处理提供新数据.

我希望这有帮助！

于 2012-11-28T22:30:34.847 回答