python - Python hadoop 流式传输：设置作业名称

Question

• 我有一个使用 hadoop-streaming 在我的集群上运行的工作
• 我必须开始一项要为其添加作业名称的新作业，如何在命令行或文件上传递该选项来设置作业名称？
• 在 Java 中，你可以这样说

JobConf conf = new JobConf(WordCount.class);
conf.setJobName("wordcount");

如何使用 hadoop-streaming 做到这一点？

Answer 1

使用 -D key=value 表示法配置属性：

-D mapred.job.name='My Job'

-info您可以通过仅使用参数调用流 jar 来列出一大堆选项