1

我是hadoop的新手，而不是说mahout。我希望有人可以帮助我通过这里..已经尝试了 2 天..
我已经运行了一个 hadoop 集群。
我正在使用 hadoop-2.0.0-alpha。
我安装了 mahout (ahout-distribution-0.7) 和 maven-2.2.1 (最新的 maven-3.0.4 不起作用)

现在我想运行 mahout 来了解它是什么。
我了解到，通过输入“mahout”，它会打印出 mahout 中可用的选项（算法）列表，但是当我输入 mahout 时，它只会给我 Java 异常。

$ [hadoop@localhost bin]$ mahout
MAHOUT_LOCAL is not set; adding HADOOP_CONF_DIR to classpath.
Running on hadoop, using /home/hadoop/hadoop/bin/hadoop and HADOOP_CONF_DIR=/home/hadoop/hadoop/conf
MAHOUT-JOB: /home/hadoop/mahout/examples/target/mahout-examples-0.7-job.jar
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.util.ProgramDriver.driver([Ljava/lang/String;)V
    at org.apache.mahout.driver.MahoutDriver.main(MahoutDriver.java:123)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:616)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:208)

根据我在网上搜索的内容，大多数答案都要求我使用较低版本的 hadoop，即 hadoop-0.20，我现在的问题是否与我的 hadoop 版本有关？
谢谢你。

======== 新编辑 ========

我将 hadoop 版本更改为 hadoop-1.0.3，现在当我输入“mahout”时它可以工作（我的 mahout 是 version7）

但是当我尝试运行一个示例时，它再次失败并出现类似的错误。

$ hadoop /home/hadoop/mahout/core/target/mahout-core-0.7-job.jar org.apache.mahout.cf.taste.hadoop.item.RecommenderJob -Dmapred.output.dir=output  -Dmapred.input.dir=input/prefs.txt  --usersFile input/users.txt --similarityClassname SIMILARITY_PEARSON_CORRELATION
Caused by: java.lang.ClassNotFoundException: .home.hadoop.mahout.core.target.mahout-core-0.7-job.jar
    at java.net.URLClassLoader$1.run(URLClassLoader.java:217)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:205)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:321)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:294)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:266)
Could not find the main class: /home/hadoop/mahout/core/target/mahout-core-0.7-job.jar. Program will exit.

唔..

4

2 回答 2

1

是的，如果你想让它工作，看起来你需要使用不同版本的 Hadoop（或从源代码构建最新的 Mahout）。你得到一个NoSuchMethodError所以首先要做的是检查ProgramDriver是否在你正在使用的 hadoop 的分发中。

查看各种版本的 API 文档，您可以看到它在 v0.0.20.x 中，但已从较新版本中删除。

查看 Mahout 的 JIRA，您可以看到在 7 月 11 日提交了一个与此问题类似的错误，并已在 0.8 版中修复。

更新：

你的命令不应该在 hadoop 命令之后有jar吗？就像是：

$ hadoop jar /home/hadoop/mahout/core/target/mahout-core-0.7-job.jar 等

于 2012-08-01T04:30:05.817 回答
0

@BinaryNerd 是对的。Mahout 中有一个错误，详见：

Mahout 0.7 命令行给出了 NoClassDef ProgramDriver 错误，如问题第一部分所述。这将在 0.8 中修复，或者您可以按照错误报告中的详细说明编辑您的 bin/mahout 以修复支撑位置。

我在 Cloudera CDH 4.1.2 下使用 mahout 遇到了同样的问题。更换我的 bin/mahout 中的支架修复了它。

于 2012-11-16T14:56:46.127 回答