5

有很多内容解释了数据局部性以及如何MapReduce在HDFS多节点集群上工作。但我找不到关于单节点设置的太多信息。在我试验的过去三个月中，我Hadoop一直在阅读有关映射器和减速器数量的教程和线程，并编写自定义分区器以优化作业，但我一直在想，它是否适用于单节点集群？

MapReduce与多节点集群相比，在单节点集群上运行作业的损失是多少？

通过拆分输入数据提供的并行性在这种情况下是否仍然适用？

从单个节点读取输入HDFS和从本地文件系统读取有什么区别？

我认为由于我的经验不足，我无法清楚地回答这些问题，因此不胜感激！

提前致谢！

编辑：我了解 Hadoop 不适合单节点设置，因为@TC1 列出了所有因素。那么，搭建一个伪分布式Hadoop环境有什么好处呢？

4

1 回答 1

3

我一直在阅读有关映射器和减速器数量的教程和线程，并编写自定义分区器以优化作业，但我一直认为，它是否适用于单节点集群？

  • 这取决于。组合器在映射和归约之间运行，如果使用得当，即使在单个节点上，您也肯定会感受到影响。自定义分区器——可能没有，数据在减少之前会到达同一个磁盘。它们会影响逻辑，即你的 reducer 收到什么数据，但可能不会影响性能

与多节点集群相比，在单节点集群上运行 MapReduce 作业有什么损失？

  • 处理能力。如果您可以为数据设置单个节点，那么您可能一开始就不应该使用 Hadoop 进行处理。

通过拆分输入数据提供的并行性在这种情况下是否仍然适用？

  • 不，瓶颈通常是 I/O，即访问磁盘。在这种情况下，您仍在访问同一个磁盘，只是从更多线程中访问它。

从单节点 HDFS 读取输入和从本地文件系统读取有什么区别？

  • 几乎不存在。HDFS 的理念是

    • 将文件存储在大的连续块中，以避免磁盘查找
    • 在节点之间复制这些块以提供弹性；

    在单个节点上运行时，这两者都没有实际意义。

编辑：

“单节点”和“伪分布式”的区别在于，在单模式下，所有 Hadoop 进程都在单个 JVM 上运行。不涉及网络通信，甚至不涉及localhost等。即使只是在小数据上测试作业，我建议使用伪分布式，因为这与集群基本相同。

于 2013-11-14T19:37:35.530 回答