hadoop - reducer 只是不会在 hadoop 流中启动

Question

我不确定发生了什么，但我写了一个简单的映射器和减速器脚本。

我正在针对一个小数据集（比如几行长）对其进行测试。

由于某种原因，reducer 只是没有启动.. 并且 mapper 一次又一次地执行？

12/11/20 09:21:18 INFO streaming.StreamJob:  map 0%  reduce 0%
12/11/20 09:22:05 INFO streaming.StreamJob:  map 50%  reduce 0%
12/11/20 09:22:10 INFO streaming.StreamJob:  map 100%  reduce 0%
12/11/20 09:32:05 INFO streaming.StreamJob:  map 50%  reduce 0%
12/11/20 09:32:11 INFO streaming.StreamJob:  map 0%  reduce 0%
12/11/20 09:32:20 INFO streaming.StreamJob:  map 50%  reduce 0%
12/11/20 09:32:31 INFO streaming.StreamJob:  map 100%  reduce 0%
12/11/20 09:42:20 INFO streaming.StreamJob:  map 50%  reduce 0%
12/11/20 09:42:31 INFO streaming.StreamJob:  map 0%  reduce 0%
12/11/20 09:42:32 INFO streaming.StreamJob:  map 50%  reduce 0%
12/11/20 09:42:50 INFO streaming.StreamJob:  map 100%  reduce 0%

如果您也想要代码，请告诉我。关于我哪里出错的任何线索？谢谢

Answer 1

好的。我的错..

错误出现在我的shebang中，我刚刚有

#!/usr/bin/env 

代替

 #!/usr/bin/env  python

那成功了:)

虽然如果我从shebang中跳过python会很想知道为什么mapper一次又一次地运行..