architecture - Hadoop：在地图任务之前，作业首先在哪里执行？

Question

这是一个典型main的 Hadoop Job 方法：

public class MyHadoopJobDriver extends Configured implements Tool {

  public static void main(String[] args) throws Exception {
    int exitCode = ToolRunner.run(new MyHadoopJobDriver(), args);
    System.exit(exitCode);
  }
  ...

}

当我运行这个作业hadoop MyHadoopJobDriver时，上面的代码是在任务跟踪器上自己的 JVM 中执行的吗？那么一旦作业被调度，地图任务就会被分配给任务跟踪器？

Answer 1

是的，通常。请注意，如果您在 Eclipse 中“调试 -> 作为 Java 应用程序”该类，那么您可以使用调试器进行测试、设置断点等。请注意，即使您在 Eclipse 中运行驱动程序类和映射器/缩减器，您仍然需要在您的机器上运行 hadoop 以支持 HDFS。