我正在尝试建立一个环境来支持集群上的探索性数据分析。根据对现有情况的初步调查，我的目标是使用 Scala/Spark 和 Amazon EMR 来预置集群。
目前，我只是尝试启动并运行一些基本示例，以验证我是否已正确配置所有内容。我遇到的问题是我没有看到我期望从 Amazon 机器实例上的 Atlas BLAS 库中获得的性能。
下面是我的简单基准测试的代码片段。它只是一个方阵乘法，然后是短胖乘法和一个高瘦乘法，以产生一个可以打印的小矩阵（我想确保 Scala 不会因为惰性求值而跳过计算的任何部分）。
我将 Breeze 用于线性代数库，并使用 netlib-java 为 BLAS/LAPACK 引入本地本机库
import breeze.linalg.{DenseMatrix, DenseVector}
import org.apache.spark.annotation.DeveloperApi
import org.apache.spark.rdd.RDD
import org.apache.spark.{Partition, SparkContext, TaskContext}
import org.apache.spark.SparkConf
import com.github.fommil.netlib.BLAS.{getInstance => blas}
import scala.reflect.ClassTag
object App {
def NaiveMultiplication(n: Int) : Unit = {
val vl = java.text.NumberFormat.getIntegerInstance.format(n)
println(f"Naive Multipication with vector length " + vl)
println(blas.getClass().getName())
val sm: DenseMatrix[Double] = DenseMatrix.rand(n, n)
val a: DenseMatrix[Double] = DenseMatrix.rand(2,n)
val b: DenseMatrix[Double] = DenseMatrix.rand(n,3)
val c: DenseMatrix[Double] = sm * sm
val cNormal: DenseMatrix[Double] = (a * c) * b
println(s"Dot product of a and b is \n$cNormal")
}
根据对基准的网络调查，我预计 3000x3000 矩阵乘法大约需要。2-4s 使用本地优化的 BLAS 库。当我在 MacBook Air 上本地运行时，这个基准测试在 1.8 秒内完成。当我在 EMR 上运行它时，它大约会完成。11s（使用 g2.2xlarge 实例，尽管在 m3.xlarge 实例上获得了类似的结果）。作为另一项交叉检查，我在相同的 EC2 实例类型 g2.2xlarge 上运行来自BIDMach 项目的预构建 EC2 AMI ，并获得了 2.2 秒（注意，相同计算的 GPU 基准测试产生了 0.047 秒）。
在这一点上，我怀疑 netlib-java 没有加载正确的库，但这就是我卡住的地方。我已经多次阅读 netlib-java 自述文件，似乎 ATLAS 库已按要求安装（见下文）
[hadoop@ip-172-31-3-69 ~]$ ls /usr/lib64/atlas/
libatlas.a libcblas.a libclapack.so libf77blas.so liblapack.so libptcblas.so libptf77blas.so
libatlas.so libcblas.so libclapack.so.3 libf77blas.so.3 liblapack.so.3 libptcblas.so.3 libptf77blas.so.3
libatlas.so.3 libcblas.so.3 libclapack.so.3.0 libf77blas.so.3.0 liblapack.so.3.0 libptcblas.so.3.0 libptf77blas.so.3.0
libatlas.so.3.0 libcblas.so.3.0 libf77blas.a liblapack.a libptcblas.a libptf77blas.a
[hadoop@ip-172-31-3-69 ~]$ cat /etc/ld.so.conf
include ld.so.conf.d/*.conf
[hadoop@ip-172-31-3-69 ~]$ ls /etc/ld.so.conf.d
atlas-x86_64.conf kernel-4.4.11-23.53.amzn1.x86_64.conf kernel-4.4.8-20.46.amzn1.x86_64.conf mysql55-x86_64.conf R-x86_64.conf
[hadoop@ip-172-31-3-69 ~]$ cat /etc/ld.so.conf.d/atlas-x86_64.conf
/usr/lib64/atlas
下面我展示了在 Amazon EMR 实例上运行基准测试的 2 个示例。第一个显示本机系统 BLAS 应该正确加载的时间。第二个显示当本机 BLAS 未加载并且包回退到参考实现时。因此，它似乎确实在根据消息和时间加载本机 BLAS。与在我的 Mac 上本地运行相比，no BLAS 案例的运行时间大致相同，但本机 BLAS 案例在我的 Mac 上的运行时间为 1.8 秒，而在下面的案例中为 15 秒。与 EMR 相比，我的 Mac 的信息消息相同（除了特定的目录/文件名等）。
[hadoop@ip-172-31-3-69 ~]$ spark-submit --class "com.cyberatomics.simplespark.App" --conf "spark.driver.extraClassPath=/home/hadoop/simplespark-0.0.1-SNAPSHOT-jar-with-dependencies.jar" --master local[4] simplespark-0.0.1-SNAPSHOT-jar-with-dependencies.jar 3000 naive
Naive Multipication with vector length 3,000
Jun 16, 2016 12:30:39 AM com.github.fommil.jni.JniLoader liberalLoad
INFO: successfully loaded /tmp/jniloader2856061049061057802netlib-native_system-linux-x86_64.so
com.github.fommil.netlib.NativeSystemBLAS
Dot product of a and b is
1.677332076284315E9 1.6768329748988206E9 1.692150656424957E9
1.6999000993276503E9 1.6993872020220244E9 1.7149145239563465E9
Elapsed run time: 15.1s
[hadoop@ip-172-31-3-69 ~]$
[hadoop@ip-172-31-3-69 ~]$ spark-submit --class "com.cyberatomics.simplespark.App" --master local[4] simplespark-0.0.1-SNAPSHOT-jar-with-dependencies.jar 3000 naive
Naive Multipication with vector length 3,000
Jun 16, 2016 12:31:32 AM com.github.fommil.netlib.BLAS <clinit>
WARNING: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
Jun 16, 2016 12:31:32 AM com.github.fommil.netlib.BLAS <clinit>
WARNING: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS
com.github.fommil.netlib.F2jBLAS
Dot product of a and b is
1.6640545115052865E9 1.6814609592261212E9 1.7062846398842275E9
1.64471099826913E9 1.6619129531594608E9 1.6864479674870768E9
Elapsed run time: 28.7s
在这一点上，我最好的猜测是它实际上正在加载一个本机库，但它正在加载一个通用库。关于如何验证它在运行时拾取的共享库有什么建议吗？我试过'ldd'，但这似乎不适用于spark-submit。或者也许我对 Atlas 的期望是错误的，但如果它们没有运行相当有竞争力的速度，似乎很难相信 AWS 会预先安装这些库。
如果您发现这些库未在 EMR 上正确链接，请提供有关我需要做什么的指导，以便 Atlas 库被 netlib-java 拾取。
谢谢蒂姆