hadoop - Spring Yarn @OnContainerStart - 如何调用 Mapper？

Question

我在 Spring Boot 中使用 Spring Yarn 包，我试图弄清楚如何从 @OnContainerStart 事件启动 Mapper。我如何将参数传递给映射器？如何配置要使用的映射器/减速器？我正在尝试遵循本指南

谢谢

Answer 1

我相信您正在尝试创建一个简单的 Apache Hadoop MapReduce 应用程序，而 Spring YARN 并不是为此而设计的。

要使用 Spring 开发 MapReduce 作业，您可以查看我们的参考文档，该文档可从Spring for Apache Hadoop中找到

Spring YARN 是一个开发应用程序的框架，它可以在 Apache Hadoop YARN 上运行，而不是在 MapReduce 应用程序上运行。这很容易被误解，因为 Hadoop YARN 被过于广泛地用作 Apache Hadoop MapReduce V2 的同义词。新的 MapReduce V2 实际上是一个运行在 YARN 上的简单 YARN 应用程序，YARN 是 Hadoop 的新资源调度框架。

话虽如此，如果您想在 YARN 上运行与 MapReduce 作业完全不同的东西，那么 Spring YARN 将是一个正确的选择。