csv - 如何在 spark 数据帧 csv 输出和 UTF-8-BOM 编码中添加特殊字符分隔符

Question

我必须使用 "|^|" Delimiter 将我的 spark 数据帧输出写入 csv 文件。我正在尝试这样做。

df.write.format("csv").option("delimiter", "\\|\\^\\|")

但低于错误

java.lang.IllegalArgumentException：不支持的分隔符特殊字符：\|\^\|

如何添加 UTF-8-BOM 编码的输出文件默认为 UTF-8？

在 java 中，如果我在文件的开头添加“\uFEFF”，文件的编码将更改为 UTF-8-BOM。现在我如何在 spark csv 中附加这个字符？

另外，如果我采用以下方法df.rdd.map(x=>x.mkString("|^|")).saveAsTextFile("dir path to store")

我将如何根据数据框中的列对数据进行分区？

Answer 1

就放

 df.write.format("csv").option("delimiter","^").csv("dir path to store")

对于 MULTI char，您可以使用以下代码

 df.rdd.map(x=>x.mkString("|^|")).saveAsTextFile("dir path to store")