2

我正在尝试将 MLlib 用于矩阵乘法问题。

我知道 Spark MLLib 使用本机库，这些库需要存在于节点上。（它不附带火花安装）。

所以我已经在所有节点上安装了 libgfortran 库（我做了和 Apache Spark 一样的——MlLib——协作过滤）

但是在集群上运行时我仍然遇到这个错误。

Lost task 0.3 in stage 2.0 (TID 11, ibm-power-6.dima.tu-berlin.de): java.lang.UnsatisfiedLinkError: org.jblas.NativeBlas.dgemm(CCIIID[DII[DIID[DII)V
    at org.jblas.NativeBlas.dgemm(Native Method)
    at org.jblas.SimpleBlas.gemm(SimpleBlas.java:247)
    .....

我该如何解决这个错误？

4

1 回答 1

0

Spark有jblas一段时间没用了；据我目前所知，不是从一年多前发布的 1.4.0 开始。您链接到 Spark 0.9.0 文档链接的答案，这绝对是古老的。所以最简单的解决方案似乎是使用更新版本的 Spark。

如果这是不可能的，或者如果您遇到必须再次使用 jblas 的情况：看起来您正在使用 IBM PowerLinux 硬件。jblas 在 1.2.4 版本中添加了对该平台的支持，因此您必须确保至少使用该版本。

于 2016-10-27T22:01:10.173 回答