0

我有一个单列数据框，如下所示。我正在使用 pyspark 2.3 版写入 csv。

18391860-bb33-11e6-a12d-0050569d8a5c,48,24,44,31,47,162,227,0,37,30,28
18391310-bc74-11e5-9049-005056b996a7,37,0,48,25,72,28,24,44,31,52,27,30,4

默认情况下，代码的输出是

df.select('RESULT').write.csv(path)

"18391860-bb33-11e6-a12d-0050569d8a5c,48,24,44,31,47,162,227,0,37,30,28"
"18391310-bc74-11e5-9049-005056b996a7,37,0,48,25,72,28,24,44,31,52,27,30,4"

如何删除外部引号？我尝试过 option('quoteAll','false') 和 option('quote',None) 都不起作用。

4

2 回答 2

1

您可以尝试使用|分隔符进行书写。默认值,与包含逗号的内容冲突。

df.select('RESULT').write.csv(path, sep="|")
于 2021-02-16T11:55:33.047 回答
0

您还可以使用spark.write.text：

df.select('RESULT').write.text(path)
于 2021-02-16T12:06:11.720 回答