0

我有以下两张地图：

val map12:Map[(String,String),Double]=Map(("Sam","0203") -> 16216.0, ("Jam","0157") -> 50756.0, ("Pam","0129") -> 3052.0)
val map22:Map[(String,String),Double]=Map(("Jam","0157") -> 16145.0, ("Pam","0129") -> 15258.0, ("Sam","0203") -> -1638.0, ("Dam","0088") -> -8440.0,("Ham","0104") -> 4130.0,("Hari","0268") -> -108.0, ("Om","0169") -> 5486.0, ("Shiv","0181") -> 275.0, ("Brahma","0148") -> 18739.0)

在第一种方法中，我使用 foldLeft 来实现合并和累积：

val t1 = System.nanoTime()
val merged1 = (map12 foldLeft map22)((map22, map12) => map22 + (map12._1 -> (map12._2 + map22.getOrElse(map12._1, 0.0))))
val t2 = System.nanoTime()
println(" First Time taken :"+ (t2-t1))

在第二种方法中，我尝试使用支持并行操作的 aggregate() 函数：

def merge(map12:Map[(String,String),Double], map22:Map[(String,String),Double]):Map[(String,String),Double]=
  map12 ++ map22.map{case(k, v) => k -> (v + (map12.getOrElse(k, 0.0)))}

val inArr= Array(map12,map22)

val t5 = System.nanoTime()
val mergedNew12 = inArr.par.aggregate(Map[(String,String),Double]())(merge,merge)
val t6 = System.nanoTime()
println(" Second Time taken :"+ (t6-t5))

但我注意到 foldLeft 比聚合快得多。

我正在寻找有关如何使此操作最有效的建议。

4

1 回答 1

0

如果您希望通过使用 par 运行更高效的聚合，请尝试使用 Vector 而不是 Array，它是并行算法的最佳集合之一。

另一方面，并​​行工作有一些开销，所以如果数据不足，将不方便。

根据您给我们的数据，Vector.par.aggregate 比 Array.par.aggregate 好，但 Vector.aggregate 比 foldLeft 好。

val inVector= Vector(map12,map22)

val t7 = System.nanoTime()
val mergedNew12_2 = inVector.aggregate(Map[(String,String),Double]())(merge,merge)
val t8 = System.nanoTime()
println(" Third Time taken :"+ (t8-t7))

这是我的时代 

First Time taken :6431723
Second Time taken:147474028
Third Time taken :4855489
于 2018-08-31T19:32:01.730 回答