3

我正在使用 Spark 1.2.0 的 CDH4 构建来提交使用sbt assembly.

spark shell 和 spark submit 都失败并出现以下错误。

java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path
        at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1738)
        at java.lang.Runtime.loadLibrary0(Runtime.java:823)
        at java.lang.System.loadLibrary(System.java:1028)

虽然我在 build.sbt 中包含了 snappy 作为依赖项，如下所示，它也被下载了。

libraryDependencies ++= Seq(
  // Spark dependency
  "org.apache.spark" % "spark-core_2.10" % "1.2.0" % "provided",
  "org.xerial.snappy" % "snappy-java" % "1.0.5.4"
)

请提出建议，有什么问题和适当的解决方案。

这是火花提交命令

./spark-submit --class org.cmls.SparkExamples.Spark_First /home/varun/SPARK/spark-1.2.0/assembly/target/scala-2.11/my-project-assembly.jar

4

0 回答 0