1

我是 Spark 的新手，从 Apache 下载了预编译的 Spark 二进制文件（Spark-2.1.0-bin-hadoop2.7）

提交我的 scala (2.11.8) uber jar 时，集群抛出和错误：

java.lang.IllegalStateException: Library directory '/root/spark/assembly/target/scala-2.10/jars' does not exist; make sure Spark is built

我没有运行 Scala 2.10 并且 Spark 没有用 Scala 2.10 编译（据我所知）

难道我的依赖项之一是基于 Scala 2.10 吗？
有什么建议可能是错的吗？

4

2 回答 2

0

请注意预先构建的 spark-2.1.0 有什么问题，但我刚刚下载了 spark 2.2.0，它运行良好。

于 2017-07-25T10:21:10.983 回答
0

尝试在您的系统或 IDE 上设置 SPARK_HOME="location to your spark installation"

于 2017-07-25T10:58:11.907 回答