2

所以我试图运行这个例子https://github.com/plaa/mongo-spark/blob/master/src/main/scala/ScalaWordCount.scala

但我不断收到这个错误

 Exception in thread "main" java.lang.NoClassDefFoundError: com/mongodb/hadoop/MongoInputFormat
at ScalaWordCount$.main(ScalaWordCount.scala:27)

我不确定为什么很难找到课程。我用 maven 构建了这个项目，它似乎构建得很好。

      /usr/local/spark/bin/spark-submit \
--class ScalaWordCount \
--master local target/scalawordcount-0.0.1-SNAPSHOT.jar  \
    --jars /home/daniel/.m2/repository/org/mongodb/mongo-java-driver/2.12.3 \/mongo-java-driver-2.12.3.jar, \
    /home/daniel/mongo-hadoop/core/build/libs/mongo-hadoop-core-1.3.3-SNAPSHOT.jar

这是我用来运行它的命令。我在我的主目录中工作。提前致谢。

我使用本教程https://github.com/crcsmnky/mongodb-spark-demo使用 apache spark 设置 mongodb

PS我在网上阅读了一些关于类路径中存在错误的信息，该错误将在更新的realese中修复......

4

1 回答 1

1

我只是将jars路径添加spark-env.sh到SPARK_CLASSPATH. 我知道这不是一个好的解决方案，但它确实有效。

于 2015-07-25T07:38:14.377 回答