1

是否可以设置 Hadoop 使其与集群上的其他应用程序很好地配合使用?

我熟悉 Torque+Maui 资源调度器,并且熟悉使用 HadoopOnDemand 来配置临时 Hadoop 集群。但是,如果很多人都想使用 Hadoop,这会变得相当麻烦:每个人都同样为设置和拆除自己的迷你 hadoop 集群、在自己的 HDFS 上复制数据等而头疼。

如果我们可以拥有一个永久运行的 Hadoop 实例供人们共享,并且 HDFS 始终处于运行状态,那就更酷了。这需要 Hadoop 智能地将工作分配给不忙于其他应用程序(例如 R)的节点,并且在排队工作时不要贪婪。

这可能吗?

4

1 回答 1

0

这不是公平调度程序所做的吗?

http://hadoop.apache.org/mapreduce/docs/r0.21.0/fair_scheduler.html

我们使用它来运行具有 30 个用户的永久 hadoop 集群。您可以让它抢占任务以重新分配到新池,也可以为每个池设置单独的优先级。

于 2012-05-07T21:32:44.227 回答