我见过 Hadoop-on-Demand,以及 SGE 上的 Hadoop 集成。我的理解是这需要管理员权限,而我在工作中的大型集群上没有。管理员忙得不可开交,几个月都无法设置我们。
我认识到瞬态虚拟集群对 HDFS 实用程序的限制。我也了解使用 luster 文件系统是如何违反规定的,但是有没有人编写过 SGE 或 Torque (PBS) 脚本来向启动 hadoop 实例的集群提交作业?
我见过 Hadoop-on-Demand,以及 SGE 上的 Hadoop 集成。我的理解是这需要管理员权限,而我在工作中的大型集群上没有。管理员忙得不可开交,几个月都无法设置我们。
我认识到瞬态虚拟集群对 HDFS 实用程序的限制。我也了解使用 luster 文件系统是如何违反规定的,但是有没有人编写过 SGE 或 Torque (PBS) 脚本来向启动 hadoop 实例的集群提交作业?
见 MyHadoop:http ://www.sdsc.edu/~allans/MyHadoop.pdf
坏链接。文章可在此处获得:http: //archive.futuregrid.org/sites/default/files/myHadoop.pdf