python - 我面临 pyspark2.2 csv writer 输出的问题

Question

我想将我的 pyspark 代码从 1.6 迁移到 2.x。在 1.6 中，我使用的是语法

input_df.repartition(number_of_files) \
    .write.mode(file_saveMode) \
    .format(file_format) \
    .option("header", "true") \
    .save(nfs_path)

并以以下格式输出。

部分-00000

部分 00001

. .

我在 pyspark2.2 中运行了相同的代码，它给了我不同的部分文件名

部分-00000-2feefae7-47d7-4f1a-ade6-7dbd07f42f54-c000.csv

部分-00001-2feefae7-47d7-4f1a-ade6-7dbd07f42f54-c000.csv

然后我按照 2.x 更改代码

input_df.repartition(number_of_files) \
    .write.mode(file_saveMode) \
    .option("header", "true") \
    .csv(nfs_path)

但还是一样的结果

部分-00000-2feefae7-47d7-4f1a-ade6-7dbd07f42f54-c000.csv

任何人都可以帮助为什么会发生这种情况？