问题标签 [netlib-java]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
458 浏览

apache-spark - Py4JNetworkError:符号查找错误,未定义符号:cblas_daxpy

环境为:JDK 1.7;鼎晖 5.8.0

代码

图表有助于描述 在此处输入图像描述

错误堆栈是

关于这个问题的事情 Python Spark Context can't connect to the Py4J Spark Context because of the Py4J java server down 这是由

因此,python Spark Context 无法连接到 Py4J Spark 上下文,这表明Py4J Spark context ('127.0.0.1', 47504) Connection refused

另一个证明在执行程序日志中,它显示

这意味着执行程序也无法连接到 Py4J Spark 上下文。

纱线日志-applicationId application_xxxxxxxxx_xxxxxx

知道为什么吗?

0 投票
0 回答
100 浏览

scala - 如何设置scala微风记录器

页面底部的性能会话显示“将 com.github.fommil.netlib 包的记录器设置设置为 ALL 以检查状态,并将 com.github.fommil.jniloader 设置为更详细的细分。”

我正在使用 Breeze 在 Spark 上运行一些线性代数代码。我添加了

log4j.properties文件spark-2.1.0/conf。但是我看不到有关 netlib-java 的任何日志记录信息。

0 投票
2 回答
396 浏览

java - 在哪里可以找到 netlib-java 的源代码?

Spark 的 MLLib 声明https://github.com/fommil/netlib-java是一个依赖项。

但是,此 repo 已从 github 中删除(上面的链接已失效)。谷歌的页面缓存版本仍然存在,并且有一个说明,由于缺乏资金,该库将被终止。

图书馆不再维护了吗?上游分支现在在哪里(我可以在 github 中看到一些分支)?作者 Sam Halliday 已将他的大部分项目转移到 GitLab,但那里似乎不存在 repo。

0 投票
1 回答
809 浏览

maven - Spark-Shell 不能使用 Netlib-Java

我试图在一个简单的示例中链接本地 BLAS 库,以测试与“常规”实现的性能差异。
我尽职尽责地按照官方 netlib-java GitHub 上发布的说明进行操作,但仍然出现错误,类似于此线程

我正在使用 Hadoop 2.7 运行预编译的 Spark 2.3;我尝试使用显式启用 netlib-java 的选项从源代码构建 Spark(如Spark MLlib 页面所述,但无济于事。

让我感到困惑的特定错误消息如下所示:

它基本上说找不到库;但有趣的是,我的~/.ivy2/jars文件夹显示所有必需的包都存在,除了名称略有不同:

我对打包和/或 Spark/Scala 如何在内部处理这些包的过程知之甚少。对于固定包,maven 中似乎有一种解决方法来 include PomOnly(),但遗憾的是 spark-shell--packages选项不允许我做类似的事情。

0 投票
1 回答
578 浏览

maven - 为什么 netlib-java 本机 blas/lapack 库没有提高性能?

我正在使用这段代码来计算火花建议:

这些是使这段代码工作的 Maven 依赖项:

使用此代码计算推荐需要大约 70 秒的数据文件。此代码产生以下警告:

现在我尝试通过在 maven 中添加此依赖项来启用 netlib-java:

为了避免这个新环境崩溃,我不得不做这个额外的技巧:

现在它也可以工作了,它没有任何警告,但它工作得更慢,执行相同的计算平均需要大约 170 秒。我在 CentOS 上运行它。

使用本机库不应该更快吗?有没有可能让它更快?