hadoop - 将其他文件与 EMR 流式步骤一起使用？

Question

我目前有一个想使用 AWS 开发工具包复制的 hadoop 命令。

我当前使用的命令

hadoop jar /home/hadoop/contrib/streaming/hadoop-streaming.jar -input /no_dups -output /sorted -mapper mapper.py -reducer reducer.py -file mapper.py reducer.py other_file1.py other_file2.py

据我所知，StreamingStep该类没有提供让 Hadoop 知道需要其他文件以及映射器和化简器的方法。

这个功能可用吗？

Answer 1

我通过将-file选项传递给HadoopJarStepConfig我需要的文件列表来解决这个问题。

看到这个问题