2

我已经用python编写mapper了reducer示例wordcount。这些脚本可以作为独立的脚本正常工作。但是在hadoop中运行时出现错误。

我在用hadoop2.2

这是我的命令：

hadoop jar share/hadoop/tools/sources/hadoop-streaming*.jar -mapper wordmapper.py -reducer wordreducer.py -file wordmapper.py -file wordreducer.py -input /data -output/output/result7

Exception in thread "main" java.lang.ClassNotFoundException: share.hadoop.tools.sources.hadoop-streaming-2.2.0-test-sources.jar
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:249)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:205)

如何解决这个问题？

4

1 回答 1

0

你能试试吗

hadoop jar $HADOOP_PREFIX/hadoop/tools/sources/hadoop-streaming*.jar -mapper 'wordmapper.py' -reducer 'wordreducer.py' -file $CODE_FOLDER/wordmapper.py -file $CODE_FOLDER/wordreducer.py -input /数据-输出/输出/结果7

其中 $HADOOP_PREFIX 是 hadoop 在您的机器上放置的文件夹位置。例如 /usr/local/ 用于我的机器。如果您可以手动访问该位置并检查该 jar 是否存在。

$CODE_FOLDER 包含保存脚本的代码文件。

于 2014-07-17T06:34:47.390 回答