3

我在运行 PySpark 作业时收到以下警告：

2006 年 17 月 10 日 18:27:16 警告 ARPACK：无法从以下位置加载实现：com.github.fommil.netlib.NativeSystemARPACK

2006 年 17 月 10 日 18:27:16 警告 ARPACK：无法从以下位置加载实现：com.github.fommil.netlib.NativeRefARPACK

我的代码是

mat = RowMatrix(tf_rdd_vec.cache())
svd = mat.computeSVD(num_topics, computeU=False)

我正在使用 Ubuntu 16.04 EC2 实例。我已将以下所有库安装到我的系统中。

sudo apt install libarpack2 Arpack++ libatlas-base-dev liblapacke-dev libblas-dev gfortran libblas-dev liblapack-dev libnetlib-java libgfortran3 libatlas3-base libopenblas-base

我已将 LD_LIBRARY_PATH 调整为指向共享库路径，如下所示。

export LD_LIBRARY_PATH=/usr/lib/

现在，当我列出 $LD_LIBRARY_PATH 目录时，它向我显示了以下.so文件

ubuntu:~$ ls $LD_LIBRARY_PATH/*.so | grep "pack\|blas"
/usr/lib/libarpack.so
/usr/lib/libblas.so
/usr/lib/libcblas.so
/usr/lib/libf77blas.so
/usr/lib/liblapack_atlas.so
/usr/lib/liblapacke.so
/usr/lib/liblapack.so
/usr/lib/libopenblasp-r0.2.18.so
/usr/lib/libopenblas.so
/usr/lib/libparpack.so

但我仍然无法使用本机 ARPACK 实现。另外我正在缓存传递给矩阵的 RDD 但它仍然抛出缓存警告任何建议如何解决这 3 个警告？

我已经从 spark 下载页面下载了 spark-2.2.0 的编译版本。

4

1 回答 1

4

在探索之后，我可以通过以下方式删除这些警告并使用本机 ARPACK。

解决方案是用-Pnetlib-lgpl争论重建火花。

为原生支持构建 Spark

以下是我在 Ubuntu 16.04 上的步骤

# Make sure you use the correct download link, from spark download section
wget https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0.tgz
tar -xpf spark-2.2.0.tgz 
cd spark-2.2.0/
./dev/make-distribution.sh --name custom-spark --pip  --tgz -Psparkr -Phadoop-2.7  -Pnetlib-lgpl

当我第一次开始时，它通过抛出以下错误而失败

找不到“R_HOME”。请指定“R_HOME”或确保 R 已正确安装。[错误] 命令执行失败。

[截断]

[信息] 构建失败 [信息]

[INFO] 总时间：02:38 分钟（挂钟） [INFO] 完成时间：2017-10-13T21:04:11+00:00 [INFO] 最终内存：59M/843M

[错误] 无法在项目 spark-core_2.11 上执行目标 org.codehaus.mojo:exec-maven-plugin:1.5.0:exec (sparkr-pkg)：命令执行失败。进程因错误退出：1（退出值：1）-> [Help 1] [ERROR]

所以我安装了R语言

sudo apt install r-base-core

然后我重新运行上面的构建命令并成功安装。

以下是我构建此版本时的相关版本

$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.16.04.3-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

$ python --version
Python 2.7.12

$ R --version
R version 3.2.3 (2015-12-10) -- "Wooden Christmas-Tree"
Copyright (C) 2015 The R Foundation for Statistical Computing
Platform: x86_64-pc-linux-gnu (64-bit)

$ make --version
GNU Make 4.1
Built for x86_64-pc-linux-gnu
于 2017-10-13T21:48:01.647 回答