0

我从 中读取文件HDFS，其中包含在JTSx1,x2,y1,y2中表示 a 。envelope

我想用这些数据在foreach.

val inputData = sc.textFile(inputDataPath).cache()

val strtree = new STRtree

inputData.foreach(line => {val array = line.split(",").map(_.toDouble);val e = new Envelope(array(0),array(1),array(2),array(3)) ;
  println("envelope is " + e);
  strtree.insert(e,
  new Rectangle(array(0),array(1),array(2),array(3)))})

如您所见，我还打印了该e对象。

令我惊讶的是，当我记录 的大小时strtree，它为零！似乎这种insert方法在这里毫无意义。

顺便说一句，如果我逐行编写一些测试数据的硬代码，strtree就可以很好地构建。

还有一件事，这些项目被打包到 jar 中并以spark-shell.

那么，为什么该方法foreach不起作用？

4

2 回答 2

1

你将不得不 collect() 来做到这一点：

inputData.collect().foreach(line => {
 ... // your code
})

您可以这样做（为了避免collecting 所有数据）：

val pairs = inputData.map(line => {
    val array = line.split(",").map(_.toDouble);
    val e = new Envelope(array(0),array(1),array(2),array(3)) ;
    println("envelope is " + e);
    (e, new Rectangle(array(0),array(1),array(2),array(3)))
}

pairs.collect().foreach(pair => {
    strtree.insert(pair._1, pair._2)
}
于 2015-03-19T08:34:57.957 回答
0

使用 .map() 而不是 .foreach() 并重新分配结果。

Foreach 不返回应用函数的结果。它可用于在某处发送数据、存储到数据库、打印等。

于 2015-03-19T08:08:58.737 回答