问题标签 [systemml]

SystemML 在https://github.com/SparkTC/systemml上可用 我如何开始使用它？我是 GitHub 的新手。

我在我的 Ubuntu 中创建了一个目录并复制了 POM.xml 文件 - 当我发布 mvn clean 包时，我收到了错误：

当我去 R 并在 R 64 位版本 3.1.1 上发出以下命令时，我也得到了错误：

我克隆了 systemML 项目并遵循指南，我可以使用“mvn clean package”构建项目。但我无法使用“mvn verify”运行所有测试。像这样的错误

testCSVSingleVDenseMR(org.apache.sysml.test.integration.functions.data.FullReblockTest) 经过时间：2.109 秒 <<< 失败！java.lang.AssertionError：未能运行脚本./src/test/scripts/functions/data/SingleReblockTest.dml 异常：org.apache.sysml.api.DMLException：org.apache.sysml.runtime.DMLRuntimeException：org.apache .sysml.runtime.DMLRuntimeException：错误：从第 22 行和第 23 行之间的语句块生成的程序块中的运行时错误——错误评估指令：jobtype = CSV_REBLOCK

我的路径里已经有R3.2.3，但是有些依赖无法安装成功

警告消息：1：在 install.packages(c("batch", "bitops", "boot", "caTools", "data.table", : 安装包 'openssl' 有非零退出状态 2: 在install.packages(c("batch", "bitops", "boot", "caTools", "data.table", : 安装包 'gdtools' 的退出状态非零 3: 在 install.packages(c( "batch", "bitops", "boot", "caTools", "data.table", : 安装包 'XML' 有非零退出状态 4: 在 install.packages(c("batch", "bitops ", "boot", "caTools", "data.table", : 安装包 'topicmodels' 的退出状态非零 5: 在 install.packages(c("batch", "bitops", "boot", "caTools", "data.table", : 安装包 'httr' 的退出状态非零 6: 在 install.packages(c("batch", "bitops", "boot" , "caTools", "data.table", : 安装包 'svglite' 的退出状态非零 7: 在 install.packages(c("batch", "bitops", "boot", "caTools", " data.table", : 包 'OAIHarvester' 的安装具有非零退出状态 8: 在 install.packages(c("batch", "bitops", "boot", "caTools", "data.table", :安装包“covr”的退出状态非零在 install.packages(c("batch", "bitops", "boot", "caTools", "data.table", : 安装包 'svglite' 有非零退出状态 7: 在 install.packages(c ("batch", "bitops", "boot", "caTools", "data.table", : 安装包 'OAIHarvester' 的退出状态非零 8: 在 install.packages(c("batch", " bitops", "boot", "caTools", "data.table", : 安装包 'covr' 的退出状态非零在 install.packages(c("batch", "bitops", "boot", "caTools", "data.table", : 安装包 'svglite' 有非零退出状态 7: 在 install.packages(c ("batch", "bitops", "boot", "caTools", "data.table", : 安装包 'OAIHarvester' 的退出状态非零 8: 在 install.packages(c("batch", " bitops", "boot", "caTools", "data.table", : 安装包 'covr' 的退出状态非零"caTools", "data.table", : 安装包 'OAIHarvester' 的退出状态非零 8: 在 install.packages(c("batch", "bitops", "boot", "caTools", "data .table", : 安装包 'covr' 的退出状态非零"caTools", "data.table", : 安装包 'OAIHarvester' 的退出状态非零 8: 在 install.packages(c("batch", "bitops", "boot", "caTools", "data .table", : 安装包 'covr' 的退出状态非零

我正在尝试在 Windows 上的 SystemML 独立版本上运行决策树（https://github.com/apache/incubator-systemml/blob/master/scripts/algorithms/decision-tree.dml），但我一直收到错误“节点 1.0 的样本数量不能减少到匹配 10。这个节点被声明为叶子！”。似乎代码没有计算任何拆分，尽管我可以通过 R 执行树。以前有没有人使用过这个算法并且有一些关于如何解决错误的提示？谢谢

SystemML 附带一系列脚本，这些脚本生成随机输入数据文件，供各种算法使用。每个脚本都接受一个选项“格式”，该选项确定数据文件应该以 CSV 格式还是二进制格式写入。

我查看了二进制文件，但它们不是我认识的任何格式。网上的任何地方似乎都没有文档。什么是二进制格式？标题中有哪些字段？对于密集矩阵，数据是否连续打包在文件末尾（IEEE-754 32 位浮点数），还是在整个文件中间隔有元数据字段？

我正在我的 Windows 机器上试用基本的 systemML 教程。但是，由于这些说明适用于 OS X 和 linux，因此我在实施时遇到了一些问题

例如，在使用我已下载并保存在文件夹数据中的 Habeman 数据集时，如此处所述，我收到此错误

任何帮助将不胜感激

我正在尝试以独立模式设置和运行 Apache SystemML（在 Ubuntu 上）。我依靠 github 文档来设置它。我想用 pyspark 运行它，我正在按照这个初学者指南中的说明进行操作

成功安装 systemml 并启动 pyspark shell 后，我尝试了教程中的以下代码：

导入语句工作正常，但是我在第 3 行遇到以下错误：

根据提供的提示，我再次启动了 pyspark，并在末尾附加了“--driver -class-path ...”。但是我遇到了同样的错误。

在谷歌搜索时，我发现这个错误在 Apache SystemML 文档中被突出显示。但是，我真的无法解决这个问题。

任何帮助将不胜感激！

我正在尝试在 SystemlML 的 DML 中构建一个简单的 hello world 神经网络，但遇到了从 UDF 函数返回多个值的问题。我受到成功运行的这段代码的启发，但我无法弄清楚其中的区别：

按照 Berthold 的要求进行编辑（完整代码）：

如果我删除

它有效，否则我得到：

原因：org.apache.sysml.parser.LanguageException: ERROR: null -- 第 22 行，第 0 列 -- 赋值语句不能返回多个值

有任何想法吗？

请考虑以下代码：

其中 learningRate 是 double 和 dJdW1/dJdW1 2d 矩阵。

我收到此错误：

错误：从第 58 行和第 61 行之间的语句块生成的程序块中的运行时错误 - 评估指令时出错：CP\xb0-*\xb0W2\xb7MATRIX\xb7DOUBLE\xb01.0E-5\xb7SCALAR\xb7DOUBLE\xb7true\xb0dJdW2\xb7MATRIX\ xb7DOUBLE\xb0_mVar117\xb7MATRIX\xb7DOUBLE

编辑 12.7.17：

加上这个...

序数不在范围内（128）'））

整个 DML 可以在这里找到

完整的错误可以在这里找到

整个 jupyther 笔记本可以在这里找到

我正在通过 pyspark 运行带有 systemml SVM 组件的 Flask 应用程序。该应用程序运行了大约一天左右，然后每当使用 SVM 进行预测时它就会开始出错。抛出的错误是：

我相信正在发生的事情是 systemml 正在写入 /tmp/ ，然后最终被我正在使用的容器清除。然后，当它进行预测时，它会尝试读取此文件并出错。我的猜测正确吗？解决这个问题的最佳方法是什么？有没有办法告诉 systemml 将其缓存写入何处？

谢谢你提供的所有帮助！

如何在 systemML DSL 中从 HDFS 加载 csv 文件？

我尝试了一些类似的东西：

我检查了文件实际上位于这个 HDFS 位置。

当我通过以下方式运行 dsl 时：

它抱怨说：

我认为问题与本地模式有关，但我不知道如何设置以支持 systemML 的 HDFS。

任何建议都非常感谢！

谢谢！