问题标签 [systemml]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
703 浏览

java - systemML:'JavaPackage' 不可调用。当我使用 MLContext

我按照网站上的教程,选择“示例笔记本”--深度学习图像分类,(看这里),当我运行时 ml = MLContext(sc),出现如下错误:

似乎找不到SystemML.jar?我下载的systemml二进制文件可能包含这个文件。但我不知道我能做什么。谢谢!谢谢!!!

0 投票
1 回答
365 浏览

python-2.7 - NoneType 没有属性“选择”KerasDML SystemML

我在此页面中运行示例 Keras2DML 代码时遇到了一些问题。在运行代码时,我遇到了这个错误:

我正在使用 Tensorflow-GPU 1.5 和 Keras 2.1.3 。

0 投票
1 回答
106 浏览

java - SystemML 在 MacOS 上构建失败

我最近开始为SystemML做贡献。当我尝试在我的 macbook 中通过 maven 构建 systemml 源时,每次构建都失败。

似乎 scala 有一些问题,但我无法弄清楚。尝试更改 scala 版本,重新安装 sbt,清理 maven locale repo (~/.m2 dir),仍然没有运气。

我在带有 Java 9.0.4 和 maven 3.5.2 的 macOS high sierra 版本 10.13.1 上使用了 systemml 1.1.0 源代码。

错误看起来像这样:

完整的构建代码可以在这里看到。https://gist.github.com/mpgovinda/f9a759d3fb3a8e1cc8e69b6431bbb2f2

0 投票
1 回答
161 浏览

python - 在 SystemML (Java) 中将公式转换为 DML

你将如何转换这个公式。

公式 = sum(U' (W . (US)))

来自蟒蛇

在 SystemML 中使用 DML 和以下数据

句法

任务

0 投票
1 回答
38 浏览

systemml - SystemML 中的 which() 函数

我是一名开发人员,想使用 SystemMl 在 Spark 集群上运行我们业务人员的 R-Code。

我研究了http://apache.github.io/systemml/dml-language-reference,但是,还没有找到 R 函数“which”或任何替代功能的实现。有谁知道我怎么能

给定

v = c(1,4,NA,2, 5, NA)

期望值满足条件的索引 = int[] 2 5

v2 = 其中(v>2)

期望 is.na 返回 TRUE = int[] 3 6 的索引

v3 = which(is.na(v))

我已经考虑过replace() 和removeEmpty() 函数,但它们并不能完全满足我的需要。

非常感谢库诺

0 投票
3 回答
2111 浏览

python - SystemML:无法导入子模块 mllearn(因此无法导入 Keras2DML 函数)

我正在使用 IBM Watson Studio(默认 spark python 环境)并尝试将 Keras 模型转换为 systemml DML 并在 Spark 上对其进行训练。

这执行得很好。但是这个 -

抛出 SyntaxError: import * only allowed at module level

不显示 mllearn。

我尝试从http://www.romeokienzler.com/systemml-1.0.0-SNAPSHOT-python.tar.gzhttps://sparktc.ibmcloud.com/repo/latest/systemml-1.0.0-安装它SNAPSHOT-python.tar.gz 和一个 git clone 但不成功。我究竟做错了什么?

0 投票
1 回答
1556 浏览

apache-spark - 如何在 Spark 数据帧上训练神经网络自动编码器(Keras)

我在集群上使用 PySpark 创建了一个非常大的Spark Dataframe,它太大而无法放入内存。我还有一个带有 Keras 的自动编码器模型,它接收一个 Pandas 数据帧(内存中对象)。

将这两个世界结合在一起的最佳方式是什么?

我发现了一些在 Spark 上提供深度学习的库,但似乎只用于超参数调整或不支持像Apache SystemML这样的自动编码器

我肯定不是第一个在 Spark Dataframes 上训练 NN 的人。我在这里有一个概念上的差距,请帮助!

0 投票
2 回答
34 浏览

systemml - 如何在例如 IBM Watson Studio 上运行示例 systemml 代码

我正在尝试跟随quide

https://towardsdatascience.com/how-to-train-your-neural-networks-in-parallel-with-keras-and-apache-spark-ea8a3f48cae6#

用 systemml 和 spark 试用 keras。

无论如何,我在 ibm watson 上找不到提到的免费 spark 计划。任何人都可以帮我找到它还是它不再可用?

谢谢!

0 投票
0 回答
162 浏览

keras - 通过使用 3d 形状的 spark 数据框在 spark 上训练 keras 模型

我正在训练编写一个分布式 keras 模型,其中数据和模型本身都可以在 spark 上并行运行。问题是,我正在使用 3-d 形状图像数据作为输入,但我不确定如何从我的 3d 形状 numpy 数组制作数据帧,以通过系统 ml 训练我的 keras 模型。我正在使用预训练的 xception keras 模型,因此我的输入需要采用 (300,300,3) 的形状

我正在关注链接

但是当我使用 3d 形状的 numpy 数组时出现问题,我无法将其转换为 spark 数据帧,它要求我提供 2d 形状的数组。

有没有人对此有任何解决方案?

0 投票
1 回答
228 浏览

python - 运行 Systemml 时出错,无法导入 imap

您好我正在尝试在 IBMcloud 中使用 systemml 进行 keras 并行化,但是当我运行代码时:

我得到 fowlloing 错误,你能帮我解决任何问题吗: