apache-spark - 无法在 mleap 中创建 SparkBundlecontext 的对象

Question

我已经导入了所需的包。我什至可以导入 SparkBundleContext

import org.apache.spark.ml.bundle.SparkBundleContext

但是当我这样做时

val sbc = SparkBundleContext()

我收到这个错误

java.lang.NoClassDefFoundError: org/apache/spark/ml/clustering/GaussianMixtureModel

Answer 1

如果您使用的是 maven，请将 apache spark ML 依赖项添加为

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>2.1.1</version>
</dependency>

如果您使用的是 SBT，则将依赖项添加为

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.1.1"

使用正确的依赖版本，使其与您的 scala 版本匹配。

希望这可以帮助！