问题标签 [scala-breeze]

是否可以在 Breeze CSCMatrix 对象中使用广播？在 a 上DenseMatrix m，广播的工作方式如下：

sum(m(::, *)

但是，对 a 的相同操作会CSCMatrix m产生此错误：

我可以在这里问一些新手问题：

我的目标是在 Scala（2.11.5）中使用 Breeze 模块（0.10），我遵循：

实际上，它运行得很好，最后，当我得到提示时，我可以做得很好（来自微风网站的一些例子）

但是，在我退出并重新进入 Scala 之后

带着一些兴奋，我尝试了：

安装后模块似乎“消失”了......我可以知道如何永久安装“Breeze”吗？还是我在这里错过了任何联系？

非常感谢您的回答。

这个问题是关于 MLlib (Spark 1.2.1+)。

操作局部矩阵的最佳方法是什么（大小适中，小于 100x100，因此不需要分发）。

例如，在计算数据集的 SVD 之后，我需要执行一些矩阵运算。RowMatrix唯一提供乘法功能。toBreeze 方法返回 aDenseMatrix<Object>但 API 似乎对 Java 不友好： public final <TT,B,That> That $plus(B b, UFunc.UImpl2<OpAdd$,TT,B,That> op)

在 Spark+Java 中，如何进行以下任一操作：

• 转置矩阵
• 加/减两个矩阵
• 裁剪矩阵
• 执行元素操作
• ETC

Javadoc 行矩阵：https ://spark.apache.org/docs/latest/api/java/org/apache/spark/mllib/linalg/distributed/RowMatrix.html

编辑：感谢 dlwh 为我指出正确的方向，以下解决方案有效：

我有flagVectorOutlier如下代码所示的功能。我正在使用 BreezeDenseVector和DenseMatrix对象来计算distance. 我希望按照函数签名上的编码，得到一个 Spark RDD[(Double, Boolean)]。mi和invCovMatrix分别是 Breeze 的DenseVector[Double]和DenseMatrix[Double]：

编译器最终向我显示以下 2 个错误：

和

我错过了什么？我正在考虑以这种方式在 Breeze's 之间进行乘法运算是可能的DenseVector。

下面的代码生成一个 0-1 矩阵，改变每个奇数行并组成一个新矩阵。我想连接向量，foldLeft但我得到了Not all matrices have the same number of columns，可能是因为 的零（或单位）元素foldLeft是一个未知大小的空向量。

怎么可能修好？另外为什么map不能在m(r, ::)不进行转接的情况下调用？理想情况下，我会将选择的向量映射到新向量，然后DenseMatrix.horzcat用于构建矩阵。

不对整个矩阵使用该map函数的原因是某些行不会被更改。

我尝试通过 intellij idea 中的命令“sbt assembly”来构建 Breeze。但是，它告诉我“不是有效的命令：程序集”，这让我很困惑。因为默认 plugin.sbt 中的代码似乎支持命令“sbt assembly”

并且 github 上的 Breeze 项目页面也告诉我它支持命令“sbt assembly”。https://github.com/scalanlp/breeze/wiki/Installation

有人可以帮我吗？

我在 Breeze 库中添加了一些方法，我可以通过 IDE 看到这些方法。我正在尝试将我自己构建的 Breeze 库添加到我基于 Apache Spark 的项目中。但是，当我通过命令“sbt assembly”打包我的项目并在我的集群上运行它时，它会抛出一个错误“no such method xxx”，这意味着集群实际上没有运行我的 Breeze 库。那么谁能告诉我如何让集群运行我自己构建的 Breeze 库？

第一个项目是 SBT 项目。命令“publish-local”仅将 jar 发布到本地 .ivy 存储库。但是，另一个项目是 Maven 项目。我希望 SBT“发布本地”到 Maven 存储库。所以另一个项目可以从 .m2 存储库中引用它们。我不知道该怎么办？

这是 build.sbt：

我想在集群上运行 Spark Streaming 程序。尽管我的程序在我的机器上本地正确运行，但在集群问题上运行。事实上，我得到这个错误：

为什么它不在集群上时它在本地运行？！

我添加了如下微风依赖：

我正在使用 com.twitter.chill.KryoInjection 将微风 SparseVectors 保存到 HBase 以序列化为字节数组，这似乎工作正常。但后来我意识到，在从 HBase 中读取向量后，一些值是不同的/缺失的。现在我想知道 HBase 如何编码数据以及数据的突变可能出现在哪里（保存/编码/可能压缩数据/读取？？）。

我想在保存到 HBase 之前将存储在 HBase 中的向量与相关向量进行比较，看看它们是否相等（那么可能是读取问题），但我遇到了如何做到这一点的问题。HBase shell 中向量的表示形式如下

列=d：向量，时间戳=1431936909897，值=\x01\x00breeze.linalg.SparseVector$mcD$s\xF0\x01\x00\x01\x01breeze.collection.mutable.SparseArra\xF9\x01\x1A\x01\x02 [\xC4\x01\x0 E?\xF0\x00\x00\x00\x00\x00\x00?\xC5-\xF2\x15\x85Z:?\xD6,{ci\xA8\x08@\x06P\xE3\ x85\xACy'?\xEB\xA2\x09\xAA\xA3\xAD\x19?\xE4M\xCB\x98\xB8\x00f?\xE8\x00\x00\x00\x00\x00\x00@"\xA4Z\ x1C\xAC\x081?\xEB\xB0\xE3\xCD\x9AR&?\xE4\xB7\xF7K`\xDD)?\xEA\xD3\xC0\x06\x14\xEC\xF7?\xF3\x01]\xE8R46 ?\xC45\x03\x97\xE5\x0E\x8D\x0A\x00\x00\x00\x00\x00\x00\x00\x00\x01\x0E\x02\x0A0~\xB2\x01\xCC\x01\xBA \x02\xD22\xE4a\xDA\xB6\x0A\xD0\x8B&\xC0\xC0)\xDA\xCC\x05\x01\xC0\x84=\x01\x03breeze.storage。零$DoubleZero\xA4\x01\x01\x03\x06

如何将其与将向量序列化为文本文件时得到的“正常”字节码进行比较？有没有人已经有类似的问题并可以提供建议？