2

我正在尝试运行 Scalding 示例字数示例。我已按照此 github 链接执行步骤：- https://github.com/twitter/scalding/wiki/Getting-Started

但我得到了 ClassNotFoundException。下面是我的 StackTrace：-

[cloudera@localhost scalding-develop]$ **sudo scripts/scald.rb --local WordCount --input       input.txt --output ./someOutputFile.tsv**
can not find /root/.sbt/boot/scala-2.9.3/lib/scala-library.jar appending SBT_VERSION [0.12.0] to SBT_HOME
scripts/scald.rb:139: warning: already initialized constant SBT_HOME
scripts/scald.rb:140: warning: already initialized constant SCALA_LIB_DIR
Exception in thread "main" java.lang.Throwable: If you know what exactly caused this error, please consider contributing to GitHub via following link.
https://github.com/twitter/scalding/wiki/Common-Exceptions-and-possible-reasons#javalangclassnotfoundexception
at com.twitter.scalding.Tool$.main(Tool.scala:146)
at com.twitter.scalding.Tool.main(Tool.scala)
Caused by: java.lang.ClassNotFoundException: WordCount
at java.net.URLClassLoader$1.run(URLClassLoader.java:217)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:205)
at java.lang.ClassLoader.loadClass(ClassLoader.java:321)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:294)
at java.lang.ClassLoader.loadClass(ClassLoader.java:266)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:188)
at com.twitter.scalding.Job$.apply(Job.scala:39)
at com.twitter.scalding.Tool.getJob(Tool.scala:49)
at com.twitter.scalding.Tool.run(Tool.scala:69)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at com.twitter.scalding.Tool$.main(Tool.scala:132)
... 1 more

请让我知道问题究竟出在哪里？

谢谢。

4

3 回答 3

1

检查 - 在http://hokiesuns.blogspot.co.uk/2012/07/running-your-scalding-jobs-in-eclipse.html上的 Eclipse 文章中运行您的 Scalding 作业

使用 Maven 进行 Scalding 应该是您进入这个勇敢新世界的第一步。几个月后试试 sbt 看看你喜不喜欢

不要直接使用 sbt，因为它的用法不是那么简单

于 2013-10-20T21:48:30.413 回答
1

我建议不要使用 scald.rb。而是使用 sbt，检查这个 github repo，https://github.com/deanwampler/activator-scalding。它包括所有必要的基本设置。

于 2014-04-02T08:24:33.613 回答
1

检查你的 JDK 的 bin 目录是否在你的 PATH 中。我有一个类似的问题，我曾使用 update-alternatives 来安装 java，但在我的 PATH 中没有包含 /usr/lib/jvm/jdk-1.7.0/bin。

于 2013-09-22T15:05:10.213 回答