试图弄清楚如何在 Apache Spark 矩阵上执行进一步的操作。我创建了一个简单的RowMatrix
,然后我从中创建了一个协方差矩阵。但是查看示例/文档不确定下一步该做什么。到目前为止,这是我的代码:
def computeCovarianceMatrix(pixelMatrix: Array[Array[Double]]): Matrix = {
// parallelize the data into Spark
val data = SparkService.context.parallelize(pixelMatrix)
val rows = data.map(s => Vectors.dense(s))
val matrix = new RowMatrix(rows)
matrix.computeCovariance()
}
我希望做的是如下简单的事情(伪代码):
val covarianceMatrix = computeCovarianceMatrix(pixelMatrix)
val rows = covarianceMatrix.toArray.map(s => Vectors.dense(s))
val matrix = RowMatrix(rows)
matrix.computeSVD(k)
感谢任何可以在这里提供帮助的人:)