2

我想将 Anaconda 提供的 MKL 库与 Spark 一起使用。我安装了 libgfortran

conda install libgfortran

链接库

ln -s $PATH_TO_ANACONDA/lib/libmkl_rt.so  $PATH_TO_ANACONDA/lib/liblapack.so.3
ln -s  $PATH_TO_ANACONDA/lib/libmkl_rt.so $ PATH_TO_ANACONDA/lib/libblas.so.3

并将 PATH_TO_ANACONDA/lib 放在 LD_LIBRARY_PATH

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$PATH_TO_ANACONDA/lib

但是当我运行 Spark ALS 示例时，我看到了

WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS
WARN LAPACK: Failed to load implementation from: com.github.fommil.netlib.NativeSystemLAPACK
WARN LAPACK: Failed to load implementation from: com.github.fommil.netlib.NativeRefLAPACK

所以我认为它没有用。这有什么明显的问题吗？

4

1 回答 1

-1

只要将其加载到节点，您就可以使用任何库。将 --packages 与您要使用的库一起使用

于 2016-06-06T07:07:17.543 回答