2

我正在从目标文件中读取以下结构：

(String, CompactBuffer(person1, person2, person3 ...) )

如果我尝试这样阅读：

val input = sc.objectFile[(String, ListBuffer[Person])]("inputFile.txt")

val myData = input.map { t =>
  val myList = t._2
  for (p <- myList) {
    println(p.toString())
  }
  t
}

我收到以下错误：

java.lang.ClassCastException: org.apache.spark.util.collection.CompactBuffer cannot be cast to scala.collection.mutable.ListBuffer

但是，我在读取 objectFile 时也不能使用 CompactBuffer：

val input = sc.objectFile[(String, CompactBuffer[Person])]("inputFile.txt")

Eclipse 只会告诉我：

class CompactBuffer in package collection cannot be accessed in package 
 org.apache.spark.util.collection

那么如何从 objectFile 中读取这样的 CompactBuffer 呢？谢谢！

4

1 回答 1

2

查看https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/util/collection/CompactBuffer.scala我们可以看到这CompactBuffer是 Seq 的子类，所以试试val input = sc.objectFile[(String, Seq[Person])]("inputFile.txt")

于 2015-08-22T21:57:13.940 回答