0

我正在尝试在 Mac OS X 上安装 MLLib。在 linux 上，我只需要按照这篇文章（Apache Spark -- MlLib -- Collaborative filtering）安装 gfortran。我在我的 Mac 上安装了 gfortran。但是，当我运行时：

from pyspark.mllib.regression import LabeledPoint
from pyspark.mllib.classification import SVMWithSGD
data = [
    LabeledPoint(0.0, [0.0]),
    LabeledPoint(1.0, [1.0]),
    LabeledPoint(1.0, [2.0]),
    LabeledPoint(1.0, [3.0])
]

svm = SVMWithSGD.train(sc.parallelize(data))

我正进入（状态：

14/10/17 10:24:56 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
14/10/17 10:24:56 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS

我不确定在我的 Mac 上成功安装 MLLib 需要遵循哪些步骤。我正在运行带有 Spark 1.1.0（预构建）的 Mac OS 10.9。

4

3 回答 3

0

MLLib 是 Apache Spark 的一部分，您不需要单独安装它。

错误消息警告您它找不到 F2J 的本地实现BLAS并且正在退回F2J。其原因很可能是通过spark.apache.orgbrew或 tar.gz安装 spark

两个发行版都缺少使用 veclib 的编译标志。

要解决此问题，您可以提供依赖com.github.fommil.netlib:all:1.1.2项-Pnetlib-lgpl（更多细节）

于 2018-07-19T16:47:51.763 回答
0

安装 Apache Spark应该隐式安装 MLlib。尝试安装 Homebrew、xcode-select、java、scala 和 spark。有关分步过程，请参阅提到的链接。

于 2017-08-01T17:12:54.577 回答
0

我关注了这篇文章https://medium.freecodecamp.org/installing-scala-and-apache-spark-on-mac-os-837ae57d283f

  1. 安装冲泡
  2. xcode-select --install
  3. brew cask install java
  4. brew install scala
  5. brew install apache-spark

你现在有了火花。运行 Scala shell

spark-shell

运行 python shell

pyspark

要运行 Scala 文件，它必须有一个 main 方法。做

spark-submit file.scala
于 2019-02-04T00:23:51.347 回答