java - 在 Hadoop 中映射应用程序

Question

我有一个涉及客户端和服务器的项目。我用java开发了应用程序的两个部分，我想在hadoop集群中测试它，因为服务器端是一个云的模拟，所以通过使用hadoop，我想给我的应用程序一个真正意义上的云环境。我首先创建了一个多节点 Hadoop 集群，但我不知道下一步应该做什么。我将不胜感激。

Answer 1

实现这一点的正确方法是使用一个 restful 接口来发送命令。

例如，在作为 JobTracker 的计算机上，您可以托管一个 Tomcat 休息服务器。（确保 hadoop 守护进程在后台运行）。您可以使用基于 Spring/Hibernate 的 servlet 来处理对服务器的请求。最后，在 servlet 中，您可以包含 hadoop-jars 并通过 hadoop API 调用 hadoop，或者您可以通过控制台调用 hadoop (./hadoop runjar blah)。

为了将文件上传到服务器，您可以使用 sftp 接口，或者可能直接将文件上传到 hdfs。

如果你愿意，我可以和你分享一些代码，因为我做过一个类似的项目。

此外，您可以查看 Apache Oozie。他们为 hadoop 提供了一个宁静的工作流程 api。