hadoop - Maui+Torque 集群中的 Hadoop

Question

我有一个 Torque+Maui 集群。是否可以在同一个集群中安装 Hadoop？如果可能的话，这样做有什么好处和坏处？

Answer 1

这可能是一个很好的起点：

http://hadoop.apache.org/docs/r0.18.3/hod.html

我没有亲自使用它，但我听说这没有得到积极维护。

据我所知，Hadoop 有自己的调度程序，它期望一组 Hadoop 节点在 Hadoop 文件系统所在的位置运行。这通常是一个持久环境，因此您可以加载文件系统一次（大数据）并将您的作业分配给恰好保存所需数据副本的节点。Torque 倾向于从集群中获取任何一组空闲节点，将它们分配给一个作业，运行该作业，然后为下一个作业清理环境。这与 Hadoop 的设计背道而驰。

我可以看到，如果有一个环境可以同时充分利用您已有的系统，但管理将是一团糟。