hadoop - 为 Hadoop Streaming 构建 Hadoop 作业对象

Question

我正在尝试从 Java 配置和运行 Hadoop Streaming 作业（我正在使用的系统希望 Hadoop 作业可以通过 Java 方法调用）。

我确实在（http://hadoop.apache.org/common/docs/r0.20.2/api/org/apache/hadoop/streaming/StreamJob.html#createJob(java.lang.String[])）中找到了createJob方法，但此方法返回一个已被弃用的对象。有什么方法可以创建流式传输对象，或将其转换为?org.apache.hadoop.streaming.StreamJobJobConfJobJobConfJob

Answer 1

有一些关于移植 Streaming 代码以支持新 API 的 JIRA 票证，但据我所知，它尚未普遍可用

• https://issues.apache.org/jira/browse/MAPREDUCE-1122
• https://issues.apache.org/jira/browse/MAPREDUCE-3619

请注意，即使使用 JobConf 提交旧 api 作业的方法已被弃用，但在最新的 1.0.3 版本的 Hadoop 中仍然支持它。