java - 将 JavaPairRdd 写入 Csv

Question

JavaPairRdd 具有saveAsTextfile功能，您可以使用它以文本格式保存数据。

但是，我需要将数据保存为 CSV 文件，以便稍后与 Neo4j 一起使用。

我的问题是：

如何以 CSV 格式保存 JavaPairRdd 的数据？或者有没有办法将rdd从：

Key   Value
Jack  [a,b,c]

至：

Key  value
 Jack  a
 Jack  b
 Jack  c

Answer 1

您应该flatMapValues在 JavaPairRdd 上使用该函数：Pass each value in the key-value pair RDD through a flatMap function without changing the keys; this also retains the original RDD's partitioning.

只需返回值，它就会在输入列表中为每个元素创建一行，保留键。

  // In Java
  JavaPairRDD<Object, List<String>> input = ...;
  JavaPairRDD<Object, String> output = input.flatMapValues((Function<List<String>, Iterable<String>>) Functions.identity());