scala - 没有可用于 Vec 的 ClassTag[Double]

Question

我对 scala 和 spark 有点陌生。现在我想在每个工人上生成一个向量。当我使用这条线时，我得到了两个错误：

val b = sc.parallelize(1 to n, n).map( i => DenseVector[Double]](10.0,20.0,30.0,40.0))

1. No ClassTag available for Vec[Double]
2. not enough arguments for method map: (implicit evidence$3: scala.reflect.ClassTag[Vec[Double]])org.apache.spark.rdd.RDD[Vec[Double]]. Unspecified value parameter evidence$3.

有人可以帮我吗？

Answer 1

以下对我有用

scala> import breeze.linalg._
scala> val n = 2
n: Int = 2
scala> val b = sc.parallelize(1 to n, n).map( i => DenseVector[Double](10.0,20.0,30.0,40.0))
b: org.apache.spark.rdd.RDD[breeze.linalg.DenseVector[Double]] = MapPartitionsRDD[1] at map at <console>:24

这是rdd中的一些数据：

   scala> b.take(1)
res1: Array[breeze.linalg.DenseVector[Double]] = Array(DenseVector(10.0, 20.0, 30.0, 40.0))