0

我想使用 Hadoop 2.6.5(在我自己的本地集群中)运行 MapReduce 应用程序,并且我想更新 YARN 中的一些内容,因此我看到我可以编写自己的 YARN 应用程序(https://hadoop.apache.org/ docs/r2.6.5/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html)。但是,如果我以这种方式(使用 YARN 客户端)运行 YARN,那么我就不能将 MapReduce 范式(Map 和 Reduce 函数)与 Job 类一起使用。

是否有任何选项可以编写我自己的 ApplicationManager 并将 MapReduce 范例与简单的 Job 类一起使用?

这些是我发现的一些关于编写 YARN 应用程序的有用示例 https://github.com/noitcudni/yarn https://github.com/hortonworks/simple-yarn-app https://github.com/blrunner/yarn-初学者示例/blob/master/src/main/java/com/wikibooks/hadoop/yarn/examples/MyClient.java

*使用弹簧或斜纹会导致同样的问题。

4

0 回答 0