hadoop - -Dmapred.job.name 不适用于 s3-dist-cp 命令

Question

我想使用 s3-dist-cp 将一些文件从 emr-hdfs 复制到 s3 存储桶，我已经从“EMR 主节点”尝试了这个 cmd：

s3-dist-cp -Dmapred.job.name=my_copy_job --src hdfs:///user/hadoop/abc s3://my_bucket/my_key/

这个命令执行得很好，但是当我在纱线资源管理器 UI 中检查作业名称时，它显示如下： S3DistCp hdfs:///user/hadoop/abc **->** s3://my_bucket/my_key/

而预期的工作名称应该是my_copy_job

感谢任何帮助，！

注意： 当我使用此选项运行 hadoop distcp 时-Dmapred.job.name=my_copy_job，它会在 yarn RM UI 中正确显示作业名称，但作业最终会失败

Answer 1

s3-dist-cp不支持-D在运行时设置的样式属性hadoop distcp。S3 Distcp 仅接受此处列出的有限选项集。除了由 定义的这些选项之外S3DistCp，它还接受工具界面的通用选项。

但JobName不是其中之一。JobName在 S3DistCp 代码中硬编码并且不能被覆盖。