hadoop - 如何运行计算并照顾远程 Hadoop 集群的计算过程？

Question

我有一个 java 程序，我想将任务（jar）从它发送到远程 Hadoop。我当然需要将特殊参数传递给 jar。
如果计算任务刚刚结束，java程序必须知道这一点。

我可以通过hadoop API来做吗？
我在哪里可以获得文章或其他东西？

Answer 1

Hadoop为此提供了一些API。因此，如果您为 Hadoop 作业编写 Java 代码，您可以定义作业特征，例如：

job.SetMapperClass()、job.setReducerClass()、job.setPartitionerClass()、job.setInputPath()等。

然后你运行你的工作，你可以通过使用等待工作完成

job.waitForCompletion(true)