4

我正在为我的数据计算 SVD。但是每当我使用spark-submit日志文件状态提交 Spark 应用程序时：

WARN ARPACK/BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemARPACK/BLAS

我使用 with -Pnetlib-lgplflag 构建了 Spark，并且在创建 jar 文件时还在我的 sbt 文件中包含了 netlib 依赖项：

libraryDependencies ++= Seq(
    "org.apache.spark"  % "spark-core_2.10"              % "1.5.0" % "provided",
    "org.apache.spark"  % "spark-mllib_2.10"             % "1.3.0",
    "com.github.fommil.netlib"  %   "all"   %   "1.1.2"     pomOnly()
)

GCC 和 Gfortran 版本是gcc version 4.8.0 (GCC). 我还安装了 BLAS、LAPACK 和 ATLAS，并按照 netlib 站点上的说明进行操作：https ://github.com/fommil/netlib-java

在spark-shell我导入 as 时import com.github.fommil.netlib._，没有任何迹象表明它没有被导入。

我已经尝试调试这个问题一段时间了，但我没有想法。有人好心帮我解决这个问题。

4

1 回答 1

3

这是一个已知的痛点。

我已经成功地按照说明@ https://github.com/PasaLab/marlin/issues/1让这个可怕的东西在带有英特尔 MKL 的 Spark 1.4.x / 1.5.x 中工作

我认为大约有一个地方您必须调整这些指令以与 ATALAS 链接，但这应该是可行的。

于 2015-12-31T12:12:15.713 回答