java - Java Spark如何保存一个JavaPairRDD, 哈希表> 归档？

Question

经过一些复杂的聚合后，我得到了这个“ JavaPairRDD<HashSet<String>, HashMap<String, Double>>”RDD，想将结果保存到文件中。我相信saveAsHadoopFile这样做是一个很好的 API，但是在为saveAsHadoopFile(path, keyClass, valueClass, outputFormatClass, CompressionCodec). 任何人都可以帮忙吗？

Answer 1

您可以使用以下函数，然后将其解析为所需的结果。

rdd.saveAsTextFile ("hdfs:///complete_path_to_hdfs_file/");

但如果您想使用 saveAsHadoopFile API，则可以使用以下方法。

saveAsHadoopFile(complete_path_to_file, HashSet.class, HashMap.class, TextOutputFormat.class)

您也可以HadoopOutputFormat.class用作最后一个参数

更多信息可以参考这个链接 HadoopFile