是否可以设置 Hadoop 使其与集群上的其他应用程序很好地配合使用?
我熟悉 Torque+Maui 资源调度器,并且熟悉使用 HadoopOnDemand 来配置临时 Hadoop 集群。但是,如果很多人都想使用 Hadoop,这会变得相当麻烦:每个人都同样为设置和拆除自己的迷你 hadoop 集群、在自己的 HDFS 上复制数据等而头疼。
如果我们可以拥有一个永久运行的 Hadoop 实例供人们共享,并且 HDFS 始终处于运行状态,那就更酷了。这需要 Hadoop 智能地将工作分配给不忙于其他应用程序(例如 R)的节点,并且在排队工作时不要贪婪。
这可能吗?