问题标签 [netlib-java]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-spark - Py4JNetworkError:符号查找错误,未定义符号:cblas_daxpy
环境为:JDK 1.7;鼎晖 5.8.0
代码是
错误堆栈是
关于这个问题的事情 Python Spark Context can't connect to the Py4J Spark Context because of the Py4J java server down 这是由
因此,python Spark Context 无法连接到 Py4J Spark 上下文,这表明Py4J Spark context ('127.0.0.1', 47504) Connection refused
另一个证明在执行程序日志中,它显示
这意味着执行程序也无法连接到 Py4J Spark 上下文。
纱线日志-applicationId application_xxxxxxxxx_xxxxxx
知道为什么吗?
scala - 如何设置scala微风记录器
页面底部的性能会话显示“将 com.github.fommil.netlib 包的记录器设置设置为 ALL 以检查状态,并将 com.github.fommil.jniloader 设置为更详细的细分。”
我正在使用 Breeze 在 Spark 上运行一些线性代数代码。我添加了
到log4j.properties
文件spark-2.1.0/conf
。但是我看不到有关 netlib-java 的任何日志记录信息。
java - 在哪里可以找到 netlib-java 的源代码?
Spark 的 MLLib 声明https://github.com/fommil/netlib-java是一个依赖项。
但是,此 repo 已从 github 中删除(上面的链接已失效)。谷歌的页面缓存版本仍然存在,并且有一个说明,由于缺乏资金,该库将被终止。
图书馆不再维护了吗?上游分支现在在哪里(我可以在 github 中看到一些分支)?作者 Sam Halliday 已将他的大部分项目转移到 GitLab,但那里似乎不存在 repo。
maven - Spark-Shell 不能使用 Netlib-Java
我试图在一个简单的示例中链接本地 BLAS 库,以测试与“常规”实现的性能差异。
我尽职尽责地按照官方 netlib-java GitHub 上发布的说明进行操作,但仍然出现错误,类似于此线程。
我正在使用 Hadoop 2.7 运行预编译的 Spark 2.3;我尝试使用显式启用 netlib-java 的选项从源代码构建 Spark(如Spark MLlib 页面所述,但无济于事。
让我感到困惑的特定错误消息如下所示:
它基本上说找不到库;但有趣的是,我的~/.ivy2/jars
文件夹显示所有必需的包都存在,除了名称略有不同:
我对打包和/或 Spark/Scala 如何在内部处理这些包的过程知之甚少。对于固定包,maven 中似乎有一种解决方法来 include PomOnly()
,但遗憾的是 spark-shell--packages
选项不允许我做类似的事情。
maven - 为什么 netlib-java 本机 blas/lapack 库没有提高性能?
我正在使用这段代码来计算火花建议:
这些是使这段代码工作的 Maven 依赖项:
使用此代码计算推荐需要大约 70 秒的数据文件。此代码产生以下警告:
现在我尝试通过在 maven 中添加此依赖项来启用 netlib-java:
为了避免这个新环境崩溃,我不得不做这个额外的技巧:
现在它也可以工作了,它没有任何警告,但它工作得更慢,执行相同的计算平均需要大约 170 秒。我在 CentOS 上运行它。
使用本机库不应该更快吗?有没有可能让它更快?