问题标签 [flatmap]

对于以下使用spark javaAPI 的代码：

它采用RDD, namedOriginalType并将其映射成具有 . 键类型的对TypeOne。

我想知道是否可以OriginalType在映射步骤中将其映射为两种类型的键？喜欢TypeOne和TypeTwo。或者我必须使用两个地图步骤来实现这一点......

两者map和flatMap都定义在 上ImplicitlyUnwrappedOptional，但根据文档，它们的定义（显然）不同：

func map(f: @noescape (T) -> U) -> U!

如果 self == nil，则返回 nil。否则，返回 f(self!)。

func flatMap(f: @noescape (T) -> U!) -> U!

返回 f(self)！当且仅当 self 和 f(self) 不为零。

我试着用一个简单的例子来使用它们：

但是即使是，它们也产生了相同的结果number所以我的问题是，如果我申请或申请s nil. ，它们之间的实际区别是什么？我应该选择哪一个而不是另一个，什么时候？mapflatMapImplicitlyUnwrappedOptional

我对 flatMap 有点困惑（添加到 Swift 1.2）

假设我有一些可选类型的数组，例如

在 Swift 1.1 中，我会做一个过滤器，然后是这样的地图：

我一直在尝试使用 flatMap 几种方式来做到这一点：

和

我更喜欢最后一种方法（因为我不必强制展开$0!......我对这些感到害怕并不惜一切代价避免它们）除了我需要指定 Array 类型。

是否有另一种方法可以根据上下文确定类型，但没有强制展开？

我有以下 Scala 代码：

但是，最后一行太冗长了，所以我尝试了所有这些，但都没有编译。

data flatMap f

data flatMap f.tupled

data flatMap Function.tupled(f)

data flatMap {f _}

data flatMap (f _).tupled

data flatMap f(_)

我究竟做错了什么？唯一有效的是：

(data map Function.tupled(f)).flatten

我认为 amap后面的flatten总是可以替换为flatMap，但是尽管上面的行编译了，但这不是：

data flatMap Function.tupled(f)

我在 Java 中使用过 RDD.flatMap 函数。现在尝试使用 DataFrames。

他们说：

通过首先将一个函数应用于此 DataFrame 的所有行，然后将结果展平，返回一个新的 RDD。

指定者：接口RDDApi中的flatMap

但是当我尝试这个时Function1，它迫使我重写很多很多未实现的方法。这就是我得到的：

这看起来很奇怪，但我继续制作evidence$4：

我的意图是玩弄flatMap（当然是在 DataFrames 上而不是在 RDD 上）。所以我不需要对Row. 可以按原样返回输入而不做任何更改。

所以我想我只需要在apply方法上进行更改。

但同样，我应该如何从中TraversableOnce<Row>获得Row？

另外，我尝试的方法是否正确？还是我错过了什么？

我正在使用 Apache Spark 1.3.1

寻找有关如何使用火花在 scala 中处理某些问题的一些帮助。

我有：

这以 RDD 的形式构成了我的数据的一部分：

简而言之，我的数据集如下所示：

我想要做的是平面映射我的距离图（我可以做），但同时对于每个平面映射都DistanceMap希望保留与之关联的字符串。所以我的结果数据看起来像这样：

如前所述，我可以使用以下方法对第一部分进行平面映射：

但我坚持如何保留原始数据第二部分中的字符串。

我的目标正是标题所说的。我正在做的是：

getTitles()返回 a LinkedList<String>，我希望flatMap()完成这项工作并创建一个字符串流而不是一个流LinkedList<String>，但是 Eclipse 说：

类型不匹配：无法转换LinkedList<String>为Stream<? extends Object>

我怎样才能做到这一点？（我需要用流来做，这都是更大的流计算的一部分）

我想从 Cassandra 获得 2 rdd，然后加入他们。我想跳过空值。

使用 flatMap 可以解决这个问题，但我想知道如何使用地图解决这个问题

我已经解析了数据并生成了以下 RDD：

在这里，我只显示 RDD 中的记录，我的目标是获得以下 RDD：我在哪里附加了第一个元素。

通过执行 flatMap 我失去了第一个元素并且无法访问它：

有人可以帮我将其转换为 flatMap 或用于理解吗？我知道如何处理嵌套选项的更琐碎场景。